- 博客(11)
- 收藏
- 关注
RSS订阅原创 hbase禁用一张表和把禁用的一张表恢复状态
首先需要先让该表为disable状态，使用命令：disable ‘表名’然后才能drop这个表，使用命令：drop ‘表名’(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)但是，如果禁用一张表之后发现不想删除了，可以用enable ‘表名’ 把表的状态恢复过来。...
2019-08-15 21:18:56
2421
原创 关于flume的采集数据源类型、channel的类型、拦截器、选择器使用
sourcesexec类型执行一条命令a1.sources.s1.type = execa1.sources.s1.command = tail -f /export/datas/shells/access.logchannelmemory类型存到内存中agent.channels.c1.type = memory#channel的容量最多能存多少个eventagent.chann...
2019-08-10 12:10:42
1223
原创 flume把日志从文件夹中采集hdfs上配置文件
The configuration file needs to define the sources,the channels and the sinks.Sources, channels and sinks are defined per agent,in this case called ‘agent’#initagent.sources = s1agent.channels =...
2019-08-10 10:44:33
355
原创 hive的客户端与服务端的启动顺序
hive 的启动 6-Hive的客户端与服务端 -》Hive shell Cli -》bin/hive -》HiveServer and Beeline[实际工作中用它] -》启动服务端：hiveserver2 10000 之前启动：前台启动 bin/hiveserver2 netstat -at...
2019-08-08 08:28:36
574
原创 关于Hadoop的历史服务YARN日志聚集的开启，和启动顺序
-》学习时常用的配置（必配）-》MapReduce的历史服务：JobHistory -》修改机器上的mapred-site.xml <!--配置MapReduce的JobHistory rpc--> <property> <name>mapreduce.jobhistory.address</name&g...
2019-08-08 08:26:26
229
原创 关于hive中的sql语句中的排序关键词的使用
排序： order by：全局排序，只能有一个reduce sort by：在多个reduce的情况下，指定每个reduce内部按照什么进行排序 distribute by：指定当前SQL语句在转化成MapReduce时，按照什么来分区 cluster by:distribute by + sort by 如果同一个字段，可以直接使用 cluster by...
2019-08-07 15:54:28
493
原创 hadoop中常用的集群配置
**core-site.xml 文件中的配置** fs.trash.interval 10080hdfs-site.xml 文件中的配置 dfs.namenode.name.dir file:///export/servers/hadoop-2.7.5/data/dfs/nn/name1,file:///export/servers/hadoop-2.7.5/data/...
2019-08-07 11:17:35
104
原创 关于hadoop中需要修改的配置
-》HDFS: NameNode本地元数据的存储：dfs.namenode.name.dir 存储fsimage/edits：可以设置多个目录，以逗号隔开 复制到多个目录 DataNode数据块的存储：dfs.datanode.data.dir 存储HDFS的 上数据：可以设置多个目录，以逗号隔开 ...
2019-08-07 10:13:08
423
原创 hadoop-mapreduce模板
package com.it.userwritable;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org...
2019-08-03 14:53:03
104
原创 此maven依赖打包只能应用于子项目不能应用于父项目
org.apache.maven.plugins maven-shade-plugin 2.4.3 package ...
2019-08-02 22:03:00
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人