- 博客(3)
- 收藏
- 关注
原创 爬虫——有关抖音商品数据的爬取(蝉妈妈数据平台)
总体代码运用了selenium自动化模块,能够有效地应对平台的反爬机制,从而有效地获取到网页的数据,但又由于使用的是selenium自动化模块,所以总体的代码运行效率不是很高,耗时长。整个数据预处理总体上使用了excel的功能,虽有效地解决了要解决的问题,但有些处理过程并不简单有效率,预处理只做了剔除重复值,删除空白字段,和对销售区间进行等级映射赋值,还有其他的预处理过程并未进行,使得数据格式或有效程度未达到最大。
2023-08-26 11:02:39
9839
7
原创 2021-06-08Hadoop集群搭建
Hadoop集群搭建一.网络配置以Hadoop伪分布式为基础,已创建hadoop用户。并拥有1台虚拟机作为Master节点,N台虚拟机作为Slave节点。首先先将虚拟机的网络配置进行修改,将网络里面的连接方式改为桥接网卡,使得接下来的每个节点的Mac地址不同。打开虚拟机,使用 ifconfig 命令查看各台虚拟机的IP地址。3. 因各台虚拟机创建后的主机名都是hadoop,为加以区分,修改各台虚拟机的主机名,例如改成Master,Slave1,Slave2……使用 sudo vim /et
2021-06-08 19:13:42
253
2
原创 Hadoop安装教程_单机/伪分布式配置---------常见的问题
Hadoop文件安装时的问题在Hadoop安装时,要配置JAVA环境变量,注意要下载与之后操作相对应的版本,否则会出现很多问题。下载Hadoop文件,注意要如同1一样,要下载与JAVA版本相对于的版本,否则会出现不可以调用的问题。Hadoop伪分布式时的问题<configuration> </configuration>按照安装教程进行伪分布式配置的修改配置文件时,要注意<configuration> </configuration>这个标签只
2021-04-18 19:22:20
876
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人