- 博客(3)
- 收藏
- 关注
原创 centos7安装redis数据库并实现远程连接(超详细)
1、安装准备 1、开启防火墙: systemctl start firewalld 设为开机启动:systemctl enable firewalld 2、打开防火墙端口: 阿里云的话去配置安全组将端口开放 firewall-cmd --zone=public --add-port=6379/tcp --permanent firewall-cmd --reload 2、安装 1.安装gcc...
2019-10-11 15:37:41 935 1
原创 使用Spark编写一个简单的word count单词统计及Spark基本架构及运行原理
1、Spark基本架构及原理 Spark:spark只是一个计算框架,它的能力是在现有数据的基础上提供一个高性能的计算引擎,然后提供一些上层的处理工具比如做数据查询的Spark SQL、做机器学习的MLlib等;而hadoop的功能则更加全面,它是包括了数据存储(HDFS)、任务计划和集群资源管理(YARN)以及离线并行计算(MapReduce)的一整套技术栈。 Spark架构示意图 Spark...
2019-05-30 00:36:46 986
原创 python爬猫眼电影正在热映的电影详情
python爬猫眼电影正在热映的电影 这次咱们爬的是猫眼电影正在热映的电影。 网址:https://maoyan.com/ 以上图片中红色方框就是咱们要爬的内容,我们想要获取每部电影的详情页,我们首先要获取每部电影的id。例如:https://maoyan.com/films/248172,这个网址最后面的数字248172,就是这部电影的id。 通过分析网页利用BeautifulSoup库来提取...
2019-05-08 19:15:06 1192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人