- 博客(15)
- 资源 (1)
- 收藏
- 关注
转载 hadoop 报错解决汇总
Name node is in safe mode这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改...
2018-10-29 17:04:23 2097
转载 Python数据挖掘-Python with hadoop
一、SnakeBite1.1 Snakebite介绍介绍:Snakebite由Spotify创建,需要python2 (python3版本目前并不支持) and python-protobuf 2.4.1或更高版本。Snakebite提供了一个Python客户端库,允许客户从Python应用程序中以编程方式访...
2018-10-18 17:58:02 425
转载 数据分析利器之hive优化十大原则
转载:https://mp.weixin.qq.com/s/ARSTcHDYQy4cKkbcJE6ZUw数据分析利器之hive优化十大原则hive之于数据民工,就如同锄头之于农民伯伯。hive用的好,才能从地里(数据库)里挖出更多的数据来。用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。hive在极大数据或者数据不平衡等情况下,经常表...
2018-08-22 13:58:15 362
原创 yarn对主节点单独配置角色和group,降低资源配置
因为主节点既既包含resourceManager,又包含nodeManager;所以对主节点上面的nodeManager单独配置角色管理,降低资源配置,防止在运算过程中主节点的资源占用太多,影响主节点稳定性;实现效果如下: 具体步骤如下:1、点击Role Groups,增加一个组 2、增加了一个叫namenode的group后,将主节点从别的组中归入到该组...
2018-08-20 17:58:04 1307
原创 hdfs增加新的datanode报错Datanode denied communication with namenode
2017-08-25 15:23:35,961 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-41444263-10.31.130.229-1494815561438 (Datanode Uuid 8d7dfef6-8510-4082-beef-a30e76622baa) service to j-ecs-o...
2018-08-20 17:47:52 548
原创 手动调整hdfs单个目录备份数
sudo -u hive hdfs dfs -setrep -R -w 2 /user/hive/test.db #手动改变hdfs备份数,此脚本改变/user/hive/test.db目录所有文件备份数为2
2018-08-20 17:44:03 1983
原创 namenode正常启动后一会就挂掉
namenode日志信息:2018-03-02 08:33:15,225 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Start loading edits file /data/dfs/nn/current/edits_0000000000000406557-00000000000004065782018-03-02 08:3...
2018-08-20 17:42:03 5950 1
转载 Homebrew更改清华的源
简单来说就是两部:1. 替换formula 索引的镜像(即 brew update 时所更新内容)cd "$(brew --repo)" git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git cd "$(brew --repo)/Library/Taps/homebrew/h...
2018-08-20 17:38:38 1347
原创 ZOC for MAC OS X 的中文乱码问题
1.在~/.bash_profile文件中添加:export LANG=zh_CN.UTF-82.Options=》Edit Seesion Profile=》Layout=》Character Set =》Unicode(UTF8)
2018-08-20 17:33:26 1473
原创 Homebrew使用问题(mac)
1、执行brew update报错:Error: Running Homebrew as root is extremely dangerous and no longer supported. 2、根据网上找的资料通过执行下面语句解决(参考:https://www.cnblogs.com/xiaohaillong/p/6120913.html):sudo chown -R $(w...
2018-08-20 17:31:14 1272
原创 postgre表导入mysql中
一、(推荐)通过navicat premium工具把数据从postgresql数据库中传输到mysql数据库中选中所有的元数据表,点击图中“下一步”,默认执行就好。 二、通过postgre导出脚本,修改后再导入mysql(不推荐,容易出错)-- 1、postgresql导出数据(只导出数据insert)pg_dump -Uscm -a --column-inserts sc...
2018-08-17 17:45:32 2727 1
原创 hue_workflow参数
stat_date ${coord:formatTime(coord:dateOffset(coord:nominalTime(), 0, 'DAY'), 'yyyy-MM-dd')}
2018-08-17 17:38:36 1877
原创 DRDS使用sqoop导入及range_hash分库分表功能测试
DRDS使用sqoop导入及range_hash分库分表功能测试一、sqoop导入drds方式验证1、sqoop导入单表数据:a)创建表b_top_item_test1:CREATE TABLE b_top_item_test1( num_iid varchar(100), dp_id varchar(100), approve_status varc...
2018-08-17 17:27:17 1352
转载 使用Hive SQL插入动态分区的Parquet表OOM异常分析
转载自微信公众号Hadoop实操:https://cloud.tencent.com/developer/article/1079007使用Hive SQL插入动态分区的Parquet表OOM异常分析温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右...
2018-08-17 17:22:36 3714 1
原创 hive无法创建中文视图问题处理
问题:不能创建带中文的视图:CAUSED BY: MetaException:javax.jdo.JDODataStoreException:Insert of object "org.apache.hadoop.hive.metastore.model.MTable@12d9d950"using statement "INSERT INTO `TBLS` (`TBL_ID`,`O...
2018-08-17 17:17:32 1699
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人