- 博客(3)
- 收藏
- 关注
RSS订阅原创 centos7安装redis数据库并实现远程连接（超详细）
1、安装准备 1、开启防火墙： systemctl start firewalld 设为开机启动：systemctl enable firewalld 2、打开防火墙端口： 阿里云的话去配置安全组将端口开放 firewall-cmd --zone=public --add-port=6379/tcp --permanent firewall-cmd --reload 2、安装 1.安装gcc...
2019-10-11 15:37:41
930
1
原创 使用Spark编写一个简单的word count单词统计及Spark基本架构及运行原理
1、Spark基本架构及原理 Spark:spark只是一个计算框架，它的能力是在现有数据的基础上提供一个高性能的计算引擎，然后提供一些上层的处理工具比如做数据查询的Spark SQL、做机器学习的MLlib等；而hadoop的功能则更加全面，它是包括了数据存储（HDFS）、任务计划和集群资源管理（YARN）以及离线并行计算（MapReduce）的一整套技术栈。 Spark架构示意图 Spark...
2019-05-30 00:36:46
979
原创 python爬猫眼电影正在热映的电影详情
python爬猫眼电影正在热映的电影 这次咱们爬的是猫眼电影正在热映的电影。 网址：https://maoyan.com/ 以上图片中红色方框就是咱们要爬的内容，我们想要获取每部电影的详情页，我们首先要获取每部电影的id。例如：https://maoyan.com/films/248172，这个网址最后面的数字248172，就是这部电影的id。 通过分析网页利用BeautifulSoup库来提取...
2019-05-08 19:15:06
1186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人