- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 hadoop 报错解决汇总
Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改...
2018-10-29 17:04:23
2028
转载 Python数据挖掘-Python with hadoop
一、SnakeBite1.1 Snakebite介绍介绍：Snakebite由Spotify创建，需要python2 (python3版本目前并不支持) and python-protobuf 2.4.1或更高版本。Snakebite提供了一个Python客户端库，允许客户从Python应用程序中以编程方式访...
2018-10-18 17:58:02
410
转载 数据分析利器之hive优化十大原则
转载：https://mp.weixin.qq.com/s/ARSTcHDYQy4cKkbcJE6ZUw数据分析利器之hive优化十大原则hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。hive在极大数据或者数据不平衡等情况下，经常表...
2018-08-22 13:58:15
352
原创 yarn对主节点单独配置角色和group，降低资源配置
因为主节点既既包含resourceManager，又包含nodeManager；所以对主节点上面的nodeManager单独配置角色管理，降低资源配置，防止在运算过程中主节点的资源占用太多，影响主节点稳定性；实现效果如下： 具体步骤如下：1、点击Role Groups，增加一个组 2、增加了一个叫namenode的group后，将主节点从别的组中归入到该组...
2018-08-20 17:58:04
1275
原创 hdfs增加新的datanode报错Datanode denied communication with namenode
2017-08-25 15:23:35,961 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-41444263-10.31.130.229-1494815561438 (Datanode Uuid 8d7dfef6-8510-4082-beef-a30e76622baa) service to j-ecs-o...
2018-08-20 17:47:52
537
原创 手动调整hdfs单个目录备份数
sudo -u hive hdfs dfs -setrep -R -w 2 /user/hive/test.db #手动改变hdfs备份数，此脚本改变/user/hive/test.db目录所有文件备份数为2
2018-08-20 17:44:03
1957
原创 namenode正常启动后一会就挂掉
namenode日志信息：2018-03-02 08:33:15,225 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Start loading edits file /data/dfs/nn/current/edits_0000000000000406557-00000000000004065782018-03-02 08:3...
2018-08-20 17:42:03
5915
1
转载 Homebrew更改清华的源
简单来说就是两部：1. 替换formula 索引的镜像（即 brew update 时所更新内容）cd "$(brew --repo)" git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git cd "$(brew --repo)/Library/Taps/homebrew/h...
2018-08-20 17:38:38
1339
原创 ZOC for MAC OS X 的中文乱码问题
1.在~/.bash_profile文件中添加：export LANG=zh_CN.UTF-82.Options=》Edit Seesion Profile=》Layout=》Character Set =》Unicode(UTF8)
2018-08-20 17:33:26
1406
原创 Homebrew使用问题（mac）
1、执行brew update报错：Error: Running Homebrew as root is extremely dangerous and no longer supported. 2、根据网上找的资料通过执行下面语句解决（参考：https://www.cnblogs.com/xiaohaillong/p/6120913.html）：sudo chown -R $(w...
2018-08-20 17:31:14
1249
原创 postgre表导入mysql中
一、（推荐）通过navicat premium工具把数据从postgresql数据库中传输到mysql数据库中选中所有的元数据表，点击图中“下一步”，默认执行就好。 二、通过postgre导出脚本，修改后再导入mysql（不推荐，容易出错）-- 1、postgresql导出数据（只导出数据insert）pg_dump -Uscm -a --column-inserts sc...
2018-08-17 17:45:32
2667
1
原创 hue_workflow参数
stat_date ${coord:formatTime(coord:dateOffset(coord:nominalTime(), 0, 'DAY'), 'yyyy-MM-dd')}
2018-08-17 17:38:36
1853
原创 DRDS使用sqoop导入及range_hash分库分表功能测试
DRDS使用sqoop导入及range_hash分库分表功能测试一、sqoop导入drds方式验证1、sqoop导入单表数据：a）创建表b_top_item_test1：CREATE TABLE b_top_item_test1( num_iid varchar(100), dp_id varchar(100), approve_status varc...
2018-08-17 17:27:17
1324
转载 使用Hive SQL插入动态分区的Parquet表OOM异常分析
转载自微信公众号Hadoop实操：https://cloud.tencent.com/developer/article/1079007使用Hive SQL插入动态分区的Parquet表OOM异常分析温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右...
2018-08-17 17:22:36
3677
1
原创 hive无法创建中文视图问题处理
问题：不能创建带中文的视图：CAUSED BY: MetaException:javax.jdo.JDODataStoreException:Insert of object "org.apache.hadoop.hive.metastore.model.MTable@12d9d950"using statement "INSERT INTO `TBLS` (`TBL_ID`,`O...
2018-08-17 17:17:32
1686
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人