hadoop
steve_tao_csdn
这个作者很懒,什么都没留下…
展开
-
hadoop配置
1.hadoop-env.sh:修改JAVA_HOME2.core-site.xml配置hdfs的namenode地址与hadoop运行时使用的文件地址name:fs.defaultFS value="dfs://xxxxx"name:hadoop.tmp.dir value="/xxxxx"3.hdfs-site.xmlname:dfs.repl原创 2017-08-05 20:32:10 · 282 阅读 · 0 评论 -
hadoop-hive
一、UDF1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格式: Java Integer/String, hadoop IntWritable/Textc)用户提供的 map/reduce 脚本:不管什么语转载 2017-08-21 14:23:46 · 263 阅读 · 0 评论 -
pig-hive-elasticsearch
#!/usr/bin/env bashset -xset -etarget_date=`date -d last-day +%Y-%m-%d`echo 'it works!'echo "target_date = " $target_datehive -hiveconf target_date=$target_date -f preprocess.hqlpig \-use原创 2017-08-21 16:32:23 · 543 阅读 · 0 评论 -
hive数据导入
(1)、从本地文件系统中导入数据到hive表;(2)、从HDFS上导入数据到Hive表;(3)、从别的表中查询出相应的数据并导入到Hive表中;(4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。我会对每一种数据的导入进行实际的操作,因为纯粹的文字让人看起来很枯燥,而且学起来也很抽象。好了,开始操作! 一、从本地文件系统中导入数据到Hive表转载 2017-08-22 16:58:27 · 270 阅读 · 0 评论 -
hive基础操作
新建hive表hive> > > create table xxx_result( > id string, > zzz int, > yyy string) > ROW FORMATDELIMITED > FIELDS TERMINATEDBY '\t' > STORED AS TEXTFILE; hiv原创 2017-08-22 15:19:27 · 271 阅读 · 0 评论 -
hadoop常用命令
hadoop fs -cat hdfs://xxx |less原创 2017-08-24 11:32:08 · 218 阅读 · 0 评论 -
hbase
https://dzone.com/articles/bigtable-model-cassandra-andhttps://mapr.com/blog/in-depth-look-hbase-architecture/https://www.dbrnd.com/2015/05/what-is-mvcc-multi-version-concurrency-control/http://www.pr...原创 2018-04-16 10:24:08 · 272 阅读 · 0 评论