hadoop+spark
起個洺牸嫃難
这个作者很懒,什么都没留下…
展开
-
virtualbox虚拟机(Ubuntu16.04)在网络设置有NAT和only主机两块网卡时,安装ssh显示无法解析地址的问题解决
只要把内网(only主机的地址)断开即可原创 2017-04-13 17:17:20 · 915 阅读 · 0 评论 -
MapReduce实现QQ好友推荐
大家都知道qq用户量上亿,每个用户又有很多的好友,因此,数据量十分的庞大,如何才能实现QQ的好友推荐呢? 下面举一个例子: A有QQ好友B B有QQ好友C 则A,C有可能是好友。 当A登录的时候,则会向A推荐C,当C登录的时候,则会向C推荐A。[java] view plain copypackage com.Frie转载 2017-10-12 18:55:32 · 716 阅读 · 0 评论 -
为什么Apache里没有www目录?
如果你是rpm方式安装的apache,默认网站主目录在/var/www/html 下自然有www了,如果你是编译安装的apache,如果 apache安装在/usr/local/apache,那么网站主目录默认就在/usr/local/apache/htdocs下,把网页文件拷进去就行了。如果你想更改网站主目录,在httpd.conf中更改为你想要的目录 如DocumentRoot /web/w原创 2017-10-30 10:33:32 · 3705 阅读 · 0 评论 -
hadoop集群启动但不能访问50070
http://blog.csdn.net/gingerredjade/article/details/53364682最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问不了。困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。伪集群搭建采用的是CentOS 7.0,而C转载 2017-10-29 21:11:35 · 22935 阅读 · 2 评论 -
HDFS客户端的权限错误:Permission denied: user=Administrator, access=WRITE,....
错误的详细描述如下:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergr转载 2017-10-11 15:05:09 · 3701 阅读 · 0 评论 -
spark源码部署到eclipse之SBT安装部署
1.下载SBThttp://www.scala-sbt.org/download.html 2.添加环境变量SBT_HOME=D:\JavaDev\sbt path=……;%SBT_HOME%\bin;3.配置本地仓库编辑:conf/sbtconfig.txt# Set the java args to high-Xmx512M-XX:MaxPe原创 2017-10-06 14:34:20 · 370 阅读 · 0 评论 -
java,python的spark环境搭建
1、Java下Spark开发环境搭建1.1、jdk安装安装Oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program原创 2017-07-31 12:53:13 · 493 阅读 · 0 评论 -
hadoop在企业中的应用架构
转载 2017-06-20 20:32:28 · 3235 阅读 · 0 评论 -
使用Spark遇到的一些坑
任何新技术的引入都会历经陌生到熟悉,从最初新技术带来的惊喜,到后来遇到困难时的一筹莫展和惆怅,再到问题解决后的愉悦,大数据新贵Spark同样不能免俗。下面就列举一些我们遇到的坑。【坑一:跑很大的数据集的时候,会遇到org.apache.spark.SparkException: Errorcommunicating with MapOutputTracker】这个错误报得很隐晦,从转载 2017-05-08 16:45:07 · 2938 阅读 · 0 评论 -
spark spark-commit 出现内存不够的问题
原因是内存不足,你可以在spark文件夹下的conf文件夹中的spark-defaults.conf文件里修改参数spark.driver.memory 的参数,例如我的电脑8g,这里写1g原创 2017-05-08 14:47:41 · 1743 阅读 · 0 评论 -
ssh免密码登录(Ubuntu16.04版本)亲测可用,网上说的10个有9个搞不出来
SSH / OpenSSH / 键目录公钥和私钥基于SSH登录生成RSA密钥选择一个好的密码密钥加密级别密码身份验证传输客户端主机的关键故障排除从这里去哪里?父页面: 互联网和网络 > > SSH 公钥和私钥转载 2017-04-13 19:56:13 · 3781 阅读 · 0 评论 -
虚拟机挂在共享文档
http://www.360doc.com/content/12/1206/13/8363527_252459893.shtml转载 2017-04-13 20:03:02 · 222 阅读 · 0 评论 -
hive 创建表时遇到问题 Failed to recognize predicate 'xxx'. Failed rule: 'identifier' in column specificat
1. 问题描述在Hive1.2.2版本运行如下HQL时:select dt as date, comMap['searchType'] as search_type, comMap['clickType'] as click_typefrom search_clickwhere dt = '20170614';会抛出如下异常:Failed to recognize pr转载 2017-10-22 16:00:30 · 15305 阅读 · 0 评论