大数据
James_JR10
这个作者很懒,什么都没留下…
展开
-
HBase 计数器
计数器使用计数器可以很好的应用于点击,造成的访问次数的改变。 命令行 进入到shell,执行incr ‘表名 ’rowKey’’计数器名称’ 数字。 默认的数字位置是1,即执行一次加1,可根据实际需求自定义改数字。 Java API单列计数器 t.incrementColumnValue方法参数是:rowkey,列族,计数器名称,改变幅度 返回的是当前计数器名字对应的value值。 public原创 2017-10-20 10:02:37 · 699 阅读 · 0 评论 -
自定义flume 拦截器(interceptor)
自定义Interceptor自定义过滤器类:新建Maven项目,新建类,实现Interceptor接口,重写intercept方法,如:将header添加到body中, 重写父类方法:close(),intiialize() 代码如下 @Override public void close() { } @Override public void initialize原创 2017-10-17 20:41:33 · 760 阅读 · 0 评论 -
Hadoop 解除 安全模式、"Name node is in safe mode"
有两个方法离开安全模式(1)修改dfs.safemode.threshold.pct为一个比较小的值,默认缺省是0.999f。 在hadoop的安装目录中的hdfs-site.xml 加修改的配置项,默认的值是float类型,设置一个较小的数值。 如: <property> <name>dfs.safemode.threshold.pct</name>原创 2017-10-17 19:59:50 · 1178 阅读 · 1 评论 -
flume properties配置文件详解
Properties 配置文件基础的netcata.sources=r1 //数据来源,可以多个,中间用空格分隔 a.channels=c1 //传输管道,一般只有一个,可以多个 a.sinks=k1 //数据沉淀,可以多个,中间用空格分隔 a.sources.r1.type=netcat //数据来源类型是输入 a.sources.r1.bind=m原创 2017-10-16 23:49:29 · 4033 阅读 · 1 评论 -
MapReduce流程
MapReducer流程Job:● job.setjarbyclass(MyApp.class);//只要是在jar包中都可以写 ● job.waitForCompletion 等待任务结束(开启监视机制,轮询方案) ● job.submit() 任务提交后不会等待,直接退出。● 输入(InputFormat)—>(偏移,段落)——StringTokenizer>(偏移原创 2017-10-12 19:28:48 · 445 阅读 · 0 评论 -
MapReduce控制台打印释义
MapReduce控制台最后的打印释义如下File System Counters 组名 FILE: Number of bytes read=204404 读入的字节数,等于输入的文件 FILE: Number of bytes written=1154836 写了多少原创 2017-10-12 19:26:22 · 1090 阅读 · 0 评论