![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop实战
小亚文
我喜欢随遇而安的生活,但我更需要自身的努力来创造更好的生活
展开
-
测试hadoop服务器NodeManager无法连接ResourceManager问题
解决方案:删除该nodemanager所在机器的 /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state 文件夹下的全部信息。原创 2023-03-20 10:58:13 · 397 阅读 · 0 评论 -
hadoop--hbase
1.hive表作为hbase的外部表首先要现在hhbase建表hbase_tv_history_cid,create 'hbase_tv_history_cid', 'cid'#hbase_tv_history_cid为表名,cid为列族CREATE EXTERNAL TABLE hbase_tv_history_cid (rowkey string,info map<STRING,STRIN转载 2017-10-19 17:07:50 · 200 阅读 · 0 评论 -
Hadoop中进行分词,加载自定义词典, DistributedCache使用
由于需要再hadoop上进行分词,而且需要加载自定义词典,因此需要在hadoop中读取字典文件。 但是在hadoop中如何在map处理数据的同时进行分词,如何读取到词典? hadoop 提供了DistributedCache,其 是Map/Reduce框架提供的功能,能够缓存应用程序所需的文件 (包括文本,档案文件,jar文件等)hadoop中的MapReduce框架里已经预定义了相关的接口原创 2017-10-12 17:22:55 · 698 阅读 · 0 评论 -
查看HDFS上的文件,文件是否为空的命令总结
-test -[defsz] 测试文件是否存在:Answer various questions about , with result via exit status.-d return 0 if is a directory.-e return 0 if exists.-f return 0 if is a file.-s return 0 if file is great...转载 2019-07-30 10:37:25 · 1461 阅读 · 0 评论