2016年09月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [面试]-- java面试题二(百度)

一、笔试题1、HashMap、ConcurrentHashMap、weakHashMap 各自的实现原理以及使用场景。2、列举你所了解的非创建型设计模式，就至少其中两种写出类图。3、说说垃圾回收器的分代策略；垃圾回收器会及时回收垃圾吗？用什么方法可以主动通知垃圾回收器回收？4、单链表中从最后开始数，取第N个节点的数。5、除了通过xmlHttp实现AJAX之外，还有什么方法可以实现AJAX...

2016-09-26 19:23:49 1212

转载 [Spark基础]-- 缓存级别源码(1.6.2)

源码如下/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regardi...

2016-09-25 20:04:51 793

原创 [Linux基础]-- 本机远程执行命令，查看其他机器的文件内容或者文件夹内容

1、本机机器上有hosts文件2、编写实现语句实现查看其他机器的文件目录如下：#for i in `cat /etc/hosts`; do echo $i; ssh $i "ls /etc/"; done 其他：如果想要看mysql的表结构，可以使用如下命令for i in `cat /tmp/tables/tables.txt`; do echo $i ; mysq...

2016-09-25 20:00:08 2960

原创 [scala基础]--Option/Some/None

Scala的Option/Some/None操作：一、环境：Idea 16+Jdk-1.7+Scala-2.10.4二、测试代码：import scala.io.Sourceimport scala.util.{Try,Success,Failure}/** * Document:本类作用---->测试Options、Some、None * User: yangjf * D...

2016-09-25 19:54:29 1466

原创 [Spark--编码]--如何设置日志的打印级别

[Spark--编码]--如何设置日志的打印级别

2016-09-25 12:07:43 15696 5

原创 [Scala基础]--java运行jar类、scala运行jar类

1、java运行测试jar:执行---》java -classpath F:/TestHello.jar Test2或者java -cp F:/TestHello.jar Test2打印结果：hello world java类如下：/** * Document:本类作用---->打印hello world * User: yangjf * Date: 2016/9/25 9...

2016-09-25 09:51:05 10718

原创 [杂感]-- 搬家策略参考北京搬家

常常有许多朋友会因为工作原因，在同一个城市里搬家多次。然而随着时间的推移，跟着自己的物品也就越来越多！那么怎么样搬家就可能会成为许多人的苦恼，下面我就结合个人经历和朋友经历，给各位一个参考，希望对大家有帮助。方案一：找搬家公司或者离家最近的搬家人员帮忙搬家优点：速度快缺点：花费比较大(目前物价上涨导致的)、占用时间多...

2016-09-24 13:46:12 785

原创 [Webservice]-- 使用apache-cxf生成wsdl的客户端文件并使用

使用apache-cxf-3.1.7生成wsdl的客户端文件一、环境准备：jdk-1.7以上、idea-16、cxf-3.1.7 下载：apache-cxf-3.1.7.zip，http://cxf.apache.org/download.html下载并安装：jdk1.7下载并安装idea16Web service 的uri---->http://10.2.15...

2016-09-22 12:49:01 9087

原创 [Java基础]-- 生成uuid、md5加密

一、生成uuid说明：jdk1.5以后，api才可生成uuid实现：import java.util.UUID;/** * Document:本类作用---->java获取uuid * User: yangjf * Date: 2016/9/21 20:15 */public class CreateUUID { public static...

2016-09-21 22:06:07 2705 1

原创 [Mysql基础]-- 触发器操作

mysql触发器操作一、语法说明 -- 1、创建触发器CREATE TRIGGER trigger_name AFTER 监听的事件(update、insert、delete等) ON 监听的表名称 FOR EACH ROWBEGIN 编写一般的sql语句，但是一定要以分号(;)结尾END ;-- 2、删除触发器drop TRIGGER trigger_n...

2016-09-21 13:05:36 852

原创 [Mysql举例]-- mysql向A表插入B表新增数据(即找出2表不同的数据)

一、创建测试表结构t_basicinfo表结构一:CREATE TABLE `t_basicinfo` ( `id` varchar(36) NOT NULL COMMENT '唯一ID', `name` varchar(45) DEFAULT NULL COMMENT '名称', `type` varchar(30) DEFAULT NULL COMMENT '类型', ...

2016-09-21 11:18:38 2745

原创 [Hadoop基础]-- hadoop中的assertThat日志

主题：说明hadoop中的assertThat日志是使用断言实现的1、定义：assertion（断言）是Java1.4引入的一个新特性，该特性的引入的目的是为了辅助开发人员调试和测试。2、assertion概念以及基本用法：　　在代码实现的时候，需要使用关键字assert，而assertion本身在程序里面就是一条语句，它的作用是对boolean表达式进行检查，正确保证这个boolean表...

2016-09-18 23:11:02 1029

原创 [Hive基础]-- 创建分区表

一、为什么要创建分区表1、select查询中会扫描整个表内容，会消耗大量时间。由于相当多的时候人们只关心表中的一部分数据，故建表时引入了分区概念。2、hive分区表:是指在创建表时指定的partition的分区空间，若需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。二、实现创建、删除分区表注意：1、一个表可以...

2016-09-18 13:45:54 46869 4

转载 [数据库基础]-- 编写sql语句的原则

请见截图：注：此截图来源于《数据库原理》

2016-09-17 20:00:14 586

原创 [JavaScript举例]-- 编写Js SDK获取网页信息(包含10多项内容)

主题：实现编写js 去获取网页信息(包含10多项内容)备注：js sdk的嵌入位置----》html或者其他页面内一、编写js代码如下： (function(){ var CookieUtil = { // get the cookie of the key is name get: function(name) { var cookieName = enc...

2016-09-16 13:30:17 980

原创 [数据库基础]-- SQL内链接、外链接举例

主题：SQL内链接、外链接定义和举例一、SQL内链接、外链接定义1、SQL内链接：将2张表按照on的条件，返回公共部分表示如图： (1)sql第一种形式select * from Table_1 t1,Table_2 t2 where t1.id=t2.id;(2)sql第二种形式select * from Table_1 t1 inner j...

2016-09-15 09:56:10 2964

原创 [Hive举例]-- hive获取今天、昨天、明天和前一个小时、后一个小时的日期

主题：解决hive获取今天、昨天、明天的日期的问题注意：由于hive内置函数中，没有提供获取昨天和明天的日期函数,所以需要编写自定义函数去实现1、获取今天时间(格式可以自定义)语句：select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss')返回结果：2016-09-1416:21:592、获取昨天、明...

2016-09-14 16:43:02 87554

转载 [大数据汇总]--spark、hadoop未来发展趋势解读

由于这个话题是一篇个人新闻论坛，所以此处不便复制粘贴只留下一个网址，各位感兴趣可以点击进入：http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast?ref=myread...

2016-09-14 16:14:21 3288

转载 [Spark进阶]-- spark RDD中foreachPartition和foreach说明

主题：RDD的foreachPartition/foreach的操作说明：这两个action主要用于对每个partition中的iterator时行迭代的处理.通过用户传入的function对iterator进行内容的处理.一、foreach的操作foreach中,传入一个function,这个函数的传入参数就是每个partition中,每次的foreach得到的一个rdd的kv...

2016-09-14 16:06:29 38606 1

原创 [Spark应用]-- spark sql读取mysql数据源并且将结果写入mysql

一、创建测试表t_user2、user_t和t_result1、t_user2表结构如下：CREATE TABLE `t_user2` ( `id` int(11) DEFAULT NULL COMMENT 'id', `name` varchar(64) DEFAULT NULL COMMENT '用户名', `password` varchar(64) DEF...

2016-09-11 13:42:16 14474 3

原创 [scala基础]--使用get/set方法、toString和构造方法

举例说明scala的get/set方法package scalaClass.ConstructorExample/** * Document:本类作用---->get/set * User: yangjf * Date: 2016/8/25 21:15 */object PersonInfo { def main(args: Array[String]) { ...

2016-09-11 10:39:55 11459

原创 [HBase基础]-- java 调用hbase api创建hbase分区表

java 调用hbase api创建hbase分区表运行环境：idea16+jdk-1.7+hbase-cdh-1.2.0+cdh-5.8.0 一、新建maven项目，编写pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0....

2016-09-10 15:54:51 5207

原创 [HBase基础]-- spark创建hbase表(非分区表)

一、spark本地或者集群创建hbase表(不需要Kerberos认证)、并且插入数据 1、环境准备：idea 16+scala-2.10.4+cdh-spark-1.6.1+jdk-1.7+hbase-1.2.0-cdh5.8.0 2、 (1)创建maven工程:pdf-hbase(2)新建一个文件夹libs，导入cdh的spark jar，添加jar到项目中spark-...

2016-09-10 15:11:33 3854

原创 [Linux基础]-- linux下查端口是否被占用、查看所有端口

1、查看端口是否被占用>lsof -i:8080 2、查看所有端口>netstat -ntlp 3、查看是否开放某端口tcp端口：>netstat -ntpludp端口：>netstat -nupl 常用参数：-a (all)显示所有选项，默认不显示LISTEN相关-t (tcp)仅显示tcp相关选项-u (udp)仅显示u...

2016-09-10 13:10:25 16468 2

原创 [HBase基础]-- 使用传统hbase的api创建hbase表（scala）

本地执行主类实现采集hbase表一、使用传统hbase的api创建hbase表（scala本地运行类，并且集群不需要kerberos认证） 1、环境准备：idea 16+scala-2.10.4+cdh-spark-1.6.1+jdk-1.7+hbase-1.2.0-cdh5.8.02、导入相关jar包，见pom.xml<?xml version="1.0"encodin...

2016-09-10 12:38:50 5713

原创 [数据库]-- mysql 获取昨天日期、今天日期、明天日期以及前一个小时和后一个小时的时间

1、当前日期 select DATE_SUB(curdate(),INTERVAL 0 DAY) ;2、明天日期select DATE_SUB(curdate(),INTERVAL -1 DAY) ;3、昨天日期 select DATE_SUB(curdate(),INTERVAL 1 DAY) ; 4、前一个小时时间select date_sub(now(), ...

2016-09-06 16:42:51 54792 2

原创 [scala基础]--拉链操作(zip族函数)

运行环境：idea16+scala-2.10-6package study/** * Document:本类作用---->scala zip族函数 * User: yangjf * Date: 2016/9/03 15:15 */object TestZip { def main(args: Array[String]) { val list1: List...

2016-09-03 22:07:30 11379 2