大数据学习
精益的态度成就不一样的人生
这个作者很懒,什么都没留下…
展开
-
HDFS理论及安装部署
1_HDFS理论及安装部署 一、hadoop简介1、hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要,HDFS来源于google的GFS,MapReduce来源于Google的MapReduce,HBase来源于Google的BigTable.hadoop后被引入Apache基金会.2、hadoop两大核心设计是HDFS和MapRedu...转载 2018-12-12 16:39:12 · 195 阅读 · 1 评论 -
大数据学习之路
在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴。目前正在结合机器学习理论学习MLlib源码前言在学习大数据之前,先要了解他解决了什么问题,能给我们带来什么价值。一方面,以前IT...转载 2018-12-12 16:40:12 · 282 阅读 · 0 评论 -
hoop
1,首先安装JDK,下面如果JDK出现安装错误,可以卸载卸载1、卸载用 bin文件安装的JDK方法: 删除/usr/java目录下的所有东西2、卸载系统自带的jdk版本方法:查看自带的jdk:#rpm -qa | grep gcj看到如下信息:libgcj-4.1.2-44.el5java-1.4.2-gcj-compat-1.4.2.0-40jpp.115使用r...转载 2018-12-12 16:41:27 · 388 阅读 · 0 评论 -
spark
spark的安装和使用 spark最近出了2.0版本,其安装和使用也发生了些许的变化。笔者的环境为:centos7. 该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用,希望可以给刚刚接触spark的朋友一些帮助。 按照惯例,文章的最后列出了一些参考文献,以示感谢。下面我们就来看一下spark的安装。...转载 2018-12-12 16:56:25 · 327 阅读 · 1 评论 -
大数据学习之路
大数据学习之路(持续更新中...) 在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴。目前正在结合机器学习理论学习MLlib源码前言在学习大数据...转载 2018-12-12 13:16:54 · 149 阅读 · 0 评论 -
手把手教你设置局域网访问虚拟机内服务器
如果我们在虚拟机内搭建好服务器后,希望可以在局域网内的设备上都能访问到这个虚拟服务器,就可以参照以下步骤来操作。其中包括了很多遇到的坑。先说说我的环境是宿主机:windows 8.1虚拟机:vmware+linux centos6.5服务器:nginx1.搭建局域网我是利用笔记本wifi热点搭建的局域网。win7及以下版本应该有搭建临时无线网...转载 2018-12-25 16:57:11 · 13941 阅读 · 4 评论 -
主机找不到vmnet1和vmnet8,主机vmnet1vmnet8解决方法
今天打开虚拟机,突然发现无法ping通网络了,但是能ping通虚拟机ip,打开我的window的网络适配器发现居然没有vmnet 8虚拟网卡了,防火墙什么的都设置好了,仍然不行,后来发现,在网络和共享中心已经看不到vmnet1和vmnet8了,更改适配器设置也只有本地连接和宽带连接,大约明白怎么回事儿了,只需要做一个设置即可。鼓捣了好长时间,终于解决了问题。图中红框未勾选...转载 2018-12-25 17:01:21 · 3150 阅读 · 0 评论