![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
OceaLee
Working for life, for freedom, for self-hobby
展开
-
大数据生态系统入门必看:pig、hive、hadoop、storm、mapreduce等白话诠释
本文非原创,转载自:大数据生态系统入门必看:pig、hive、hadoop、storm、mapreduce等白话诠释http://www.aboutyun.com/thread-12869-1-1.html(出处: about云开发)1.本文是如何诠释pig与hive区别的?2.数据分析人员使用hive还是Impala?3.hive、pig适用哪些人群?4.本文是如何形转载 2016-10-17 15:06:25 · 2115 阅读 · 0 评论 -
Python2.7环境 pip安装 Tensorflow遇uninstalling six1.x..问题
本人的开发环境是Mac OS,Python是2.7非3.X.安装方法是用Pip工具安装,安装命令为:pip install tensorflow,当整个安装过程快结束的时候报了如下错误:报该错误是因为Mac环境下系统已经自带了Six包,而且似乎是不允许卸载的。所以想将系统自带的Six包删掉再重新安装是行不通的。解决方法,在安装命令后跟个参数即可:pip install tensorflow --u...原创 2018-03-14 20:50:56 · 411 阅读 · 0 评论 -
Spark on yarn报关于netty getchannel()Lio.netty....等的错
文章假设读者都已经完全部署好了Yarn与Spark,并且了解大数据集群间的基本关系。这个问题我调试了好几,然后在网上查找相关文章才得以解决。最后还是得感谢一位韩国朋友的博客。(在此,我还真得再说一点,百度搜索感觉是越来越不行了,搜啥啥不行。最后我还是用的bing搜索到的。)言归正传,其实这个具体报的什么错我没有记录下来,因为是在工作环境,文章是下班在家写的。总之大体意思就是在Spark任务在Yar...原创 2018-04-25 21:23:56 · 639 阅读 · 1 评论 -
关于Mysql数据导出时遇到的Can't create/write to file问题
一般我们从Mysql导出数据有很多种方法,如使用MysqlDump,或者使用可视化工具。但是如果我们是内网环境,而且数据库是部署在Linux,甚至Unix环境下无图形化环境时就必须要使用命令行方式来导出数据了在这里我使用的是以select * from tablename into outfile '/path/path/filename' what what what.的方式来导出数据的,一...原创 2018-12-12 21:30:04 · 13901 阅读 · 0 评论