- 博客(7)
- 收藏
- 关注
RSS订阅原创 hbase安装使用
修改conf将core-site.xml hdfs-site.xml cp 到conf中regionserver 添加字节点ip或域名hbase-env.sh export JAVA_HOME=/opt/jdk1.8.0_171export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HBASE_MAN...
2018-05-22 18:38:12
234
原创 hive 分组topN
select id,sex,age,hobby from t1 group by sex order by agerow_number() over (partition by sex order by age asc) as od;select * from t_tmp where od>3row_number为hive内置函数，partition 按哪一组分...
2018-05-15 11:09:58
385
原创 离线日志分析
1 flume从web服务器收集（前端js向web服务器发送） 用tail命令获取数据，下沉到hdfs 启动命令： bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1 ######## # Name the components on this agent a1.sources = r1 a1.sinks = k1 a
2018-05-10 17:30:35
1361
原创 sqoop 常见用法
1 mysql -> hdfs bin/sqoop import --connect jdbc:mysql://172.16.235.128:3306/test --username root --password 'my' --table items --m 1 2 mysql->hive bin/sqoop import --connect jdbc:mysql://...
2018-05-09 12:15:04
320
原创 sqoop常见问题
第一个sqoop导出mysql到hive中，在hdfs中可以看到，hadoop fs -cat /user/warehouse/ 但在hive命令行中show table 却没有 最后折腾了好久才发现是数据的问题，mysql中存放的数据有很多字段有空值 所以换些数据就ok了，由此可见，从源头找问题 导入到hive其实是先导入到hdfs再load 到hive中
2018-05-09 11:39:31
516
原创 sqoop安装及使用
官网下载tar -zxvf 修改conf中的 sqoop-env-template.sh 为sqoop-env.sh 添加相应的地址 然后将数据库驱动链接包放到sqoop lib目录下 bin/sqoop 可能会出现 Error: Could not find or load main class org.apache.sqoop.Sqoop 是因为缺少jar包所致， 1.
2018-05-08 09:20:21
159
原创 azkaban安装及使用
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and
2018-05-07 09:08:06
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人