大数据学习
人生无重来
这个作者很懒,什么都没留下…
展开
-
大数据学习02---------Hadoop完全分布式安装
前言:学习了Hadoop有半年了,一直在配Hadoop分布式,配的次数多了,就会了,但有时还是有人会来问我,现在就写一篇博文来记录一下。操作过程:1、...原创 2020-09-09 10:55:31 · 129 阅读 · 0 评论 -
爬虫+数据库+大数据分析
总体要求利用python编写爬虫程序,从招聘网站上爬取数据,将数据存入到MongoDB数据库中,将存入的数据作一定的数据清洗后做数据分析,最后将分析的结果做数据可视化。**前期准备**1、配置大数据需要的环境(1)配置Hadoop环境:可看博客:(2)配置zookeeper环境:https://blog.csdn.net/weixin_44701468/article/details/106822805(3)配置spark环境:(3)配置hive环境:(3)配置spark环境:2、下载原创 2020-07-15 19:51:48 · 5065 阅读 · 1 评论 -
Hadoop之zookeeper集群
一、配置1、到官网下载zookeeper的安装包2、上传并解压到相应的目录3、配置zookeeper的环境变量:vi /etc/prfofile4、使环境变量生效:source /etc/profile到zookeeper的conf目录,修改zoo_sample.cfg为zoo.cfg修改内容为dataDir为数据目录. 可以是任意目录。其中server是关键字,后面的数字1(或者2或者3)是不固定的,可以自己指定,但是他们之间要能够比较出大小,代表当前服务器的选举ID。192.168.原创 2020-06-18 09:12:48 · 365 阅读 · 0 评论 -
hive综合运行情况----影评
案例说明现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072,共有6040条数据对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (1995)::Adventure|Children’s|Fantasy,共有3883条数据对应字段为原创 2020-06-05 09:41:58 · 669 阅读 · 2 评论 -
大数据学习之错误——FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:
在大数据学习过程中会遇到各种各样得错误,儿我们就需要解决这些错误,所以我就遇到一个错误,并记录解决得方法。错误:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。解决方法:1、查看原创 2020-06-01 10:34:22 · 3539 阅读 · 0 评论