![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
涤生(bluez)
数据科学家=程序猿+艺术家+会讲故事的人+统计学家
展开
-
大众点评爬虫
## 大众点评评论爬虫脚本使用指南### 爬取前的准备- mysql数据库安装、打开服务- 修改mysqls.py程序中数据库的用户名密码等,并创建对应的database和table,可以使用mysqls.creat_table()函数- 登录大众点评官网,通过谷歌开发者工具等获取到当前的cookie,修改main.py中的cookie变量- 查看爬取的店铺的店铺ID以及评论的页数,...原创 2019-04-30 11:18:44 · 15359 阅读 · 0 评论 -
交通运输数据采集+数据清洗与分析+数据可视化
1.需求:1.1 数据采集一、 数据源 1 1(交通运输)航空出行由于它的快捷便利,已经被越来越多的人喜欢,某航空公司通过多年运营,积累了大量会员档案和乘坐航班信息,为对客户进行分群,明确价值客户群体,将有限的营销资源集中于高价值客户,实现企业利润最大化。为此,该航空公司聘请“H3CU”大数据分析公司完成此项目。由于会员信息属于公司机密数据,该航空公司将数据脱敏后以 csv 文件...原创 2019-05-27 10:02:20 · 9126 阅读 · 12 评论 -
招聘数据采集+数据清洗与分析+数据可视化
1.需求:1.1 数据采集1、 网站解析,利用 chrome 查看网页源码,分析招聘网站网页结构。1) “检查”招聘网站,在网页中右键点击检查,或者 F12 快捷键,进入如下图的查看元素页面;(示例图 1)2) 检查网站:点击 Network、勾选 Preserve log、点击 Doc、点击清理按钮、刷新页面、点击 Response,在 Response 查看所需内容。(...原创 2019-05-27 10:23:13 · 9540 阅读 · 5 评论 -
hadoop平台+低保数据采集+分析+可视化
1. 需求:1.1 背景描述随着中国经济的迅速发展,广大人民群众的收入也在不断提高,但是仍有一部分人群需要在经济上获得帮助,每月领取城市居民最低生活保障,为了更好的实现精准扶贫,你所在的小组需要通过给出的“某市低保人群信息表”,通过采集其中低保人口收入,低保人口中失业人数,视力或听力残疾人数等信息,分析各地区低保人群数量,人均收入情况,近几年收入总体情况等信息,为实现精准扶贫给予...原创 2019-05-27 10:36:05 · 2560 阅读 · 2 评论 -
招聘数据采集+Hive数据分析+数据可视化
1.需求背景描述近年来随着IT产业的快速发展,全国各地对IT 类的人才需求数量也在不断增多,“XHS集团”为了明确今后IT产业人才培养方向,在多个省份进行 IT公司岗位情况调研分析。你所在的小组将承担模拟调研分析的任务,通过在招聘网站进行招聘信息的爬取,获取到公司名称、工作地点、岗位名称、招聘要求、招聘人数等信息,并通过数据的清洗和分析,最终分析出当前IT产业热门岗位、大数据相关岗...原创 2019-05-27 10:42:33 · 6833 阅读 · 4 评论 -
智联招聘数据Hbase数据分析+可视化
需求:背景描述近年来随着IT产业的加速发展,全国各地对IT 类的人才需求也越来越多,“XHS 集团”为了明确公司在各区域的发展布局,在多个省份进行IT公司岗位情况调研分析。你所在的小组将承担模拟调研分析的任务,通过在招聘网站进行招聘信息的爬取,获取到公司名称、工作地点、岗位名称、招聘要求、招聘人数等信息,并通过数据的清洗和分析,最终分析出各地区热门岗位招聘人数,各地区平均薪资的差异...原创 2019-05-27 10:47:39 · 2280 阅读 · 3 评论