- 博客(58)
- 收藏
- 关注
RSS订阅转载 推荐一波，这套数据分析资料，有点意思
一提到数据分析，很多人就觉得无从下手，知识点零散总是抓不住重点，学习起来相当吃力，常常毫无头绪，搞不清关键数据。其实大数据分析的核心就在于数据的采集、存储、处理、分析和挖掘。为此，我特意...
2020-06-30 09:00:00
200
转载 我用Python展示Excel中常用的20个操作
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。前言 Excel与Python都是数据分...
2020-06-30 09:00:00
257
转载 Python爬取 201865 条《隐秘的角落》弹幕，发现看剧不如爬山？
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤仰天大笑出门去，我辈岂是蓬蒿人。本文不涉及剧透！请放心食用最近又火了一部...
2020-06-29 08:38:00
345
原创 手把手教你使用Python抓取QQ音乐数据（第三弹）
【一、项目目标】通过手把手教你使用Python抓取QQ音乐数据（第一弹）我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。通过手把手教你使用Python抓取QQ音乐数据（第二弹）我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。此次我们在项目（二）的基础上获取更多评论并生成词云图，形成手把手教你使用Python抓取QQ音乐数据（第三弹）。【二、需要的库】主要涉及的库有：requests、json、wordcloud、jieba如需更换词云图背景图片还需要
2020-06-28 10:02:28
1011
转载 面试官的黑话你听懂了多少？
最近有一些从事数据分析的粉丝在后台问我：老师，简历到底应该怎么写呀？高频出现的面试问题要怎么答才能出彩呢？自己去求职面试，要么简历入不了HR的法眼，要么第一轮就被刷了，几乎是面一个扑一个...
2020-06-28 09:00:00
220
原创 一篇文章带你剖析Python 字节流处理神器struct
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤仰天大笑出门去，我辈岂是蓬蒿人。/1 前言/ struct是用来解...
2020-06-28 09:00:00
3816
转载 Python3 网络爬虫：视频下载，那些事儿！
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。1前言你知道的视频下载“姿势”，有哪些吗...
2020-06-27 20:48:00
1384
原创 手把手教你使用Python抓取QQ音乐数据（第二弹）
【一、项目目标】通过Python爬取QQ音乐数据（一）我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论。【二、需要的库】主要涉及的库有：requests、json、html【三、项目实现】1.以歌曲“泡沫”为例，查看该界面的XHR2.通过对XHR的Size进行排序，逐个查看（参考英文含义），我们看到第一个红框内是歌曲评论，第二个框内是歌词！3.分别查看这两条数据Headers里面Par
2020-06-26 16:25:32
1376
转载 微信号可以改了？我用Python发现了隐藏的6大秘密..
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。“听说，微信可以改微信号了！”不知道谁扯...
2020-06-26 09:00:00
213
转载 盘点两个神器，快速告别垃圾短信邮件
点击上方“IT共享之家”，进行关注回复“资料”可获赠Python学习福利前言在日常生活中，我们时常会接收到一些垃圾短信和邮件，造成这种原因就是因为我们使用自己的手机号码在App上...
2020-06-25 20:00:44
629
转载 用Python快速分析和预测股票价格
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤会挽雕弓如满月，西北望，射天狼。作者 |Vincent Tatan...
2020-06-24 08:38:00
15943
2
转载 30行python代码实现微信“拍一拍”
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。最近微信“拍一拍”火遍了各大微信群，并迅...
2020-06-22 20:03:00
1474
原创 手把手教你使用Python抓取QQ音乐数据（第一弹）
【一、项目目标】获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。由浅入深，层层递进，非常适合刚入门的同学练手。【二、需要的库】主要涉及的库有：requests、json、openpyxl【三、项目实现】1.了解 QQ 音乐网站的 robots 协议只禁止播放列表，可以操作。2.进入 QQ 音乐主页 https://y.qq.com/3.输入任意歌手，比如邓紫棋4.打开审查元素（快捷键 Ctrl+Shift+I）5.分析网页源代码 Elements，发现无歌
2020-06-22 19:25:44
963
原创 手把手教你使用Python生成图灵智能小伙伴，实现工作助手/闲聊功能
/1 前言/在家闲着，做个小项目，基于Python，实现一个语聊小机器人，分享给大家。项目整体比较简单，官方文档介绍的非常详细，可快速上手。/2目标/将图灵机器人放到桌面，实现工作助手/陪聊功能。/3涉及的库/V1.0版本：requests、jsonV2.0版本：requests、json、selenium(实现功能：如图灵返回结果为url，则自动打开网页）/4具体实现/1、创建图灵机器人图灵机器人的创建在网上有很多方法，因创建图灵机器人非常简单且与Python无关，此处不赘述。注...
2020-06-22 17:42:15
903
转载 一篇文章告诉你哪些数据库是行存储？哪些是列存储？有什么区别？
导读：本文带你了解面向列与面向行的数据库。作者：Alex Petrov来源：大数据DT（ID：hzdashuju）大多数数据库系统存储一组数据记录，这些记录由表中的列和行组成。字段是列和...
2020-06-21 10:03:00
1651
原创 教你一招另辟蹊径抓取美团火锅数据
最近有个小伙伴在群里问美团数据怎么获取，而且她只要火锅数据，她在上海，只要求抓上海美团火锅的数据，而且要求也不高，只要100条，想做个简单的分析，相关的字段如下图所示。乍一看，这个问题还真的是蛮难的，毕竟美团也不是那么好抓，什么验证码，模拟登陆等一大堆拂面而来，吓得小伙伴都倒地了。通过F12查看，抓包，分析URL，找规律，等等操作。不过白慌，今天小编给大家介绍一个小技巧，另辟蹊径去搞定美团的数据，这里需要用到抓包工具Fiddler。讲道理，之前我开始接触网络爬虫的时候也没有听过这个东东，后来就慢
2020-06-20 16:52:40
1505
转载 盘点数据工程师需要掌握的18个python库
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤宁做真小人，不做伪君子。本文对python中在数据分析中需要掌握的库进...
2020-06-20 16:19:07
268
原创 如何在VMware虚拟机中安装CentOS6.7系统(下篇)
上一篇文章讲到了CentOS6.7的安装教程，安装步骤到时区选择这块了，这篇文章接上篇文章，继续讲述CentOS6.7的安装教程，直至安装完成。17、设置root的登录密码，日后登录虚拟机，用户名就是root，密码就是现在设定的这个，当然密码后期是可以更改的，这点不用操心。18、当密码设置的过于简单，系统会弹出下列提示。如果你想更改密码的话，就点击Cancel，然后选择Back，不想更改的话直接选择UseAnyway，如下图所示。然后继续下一步的安装。19、这一步建议选择最后一项，Create C
2020-06-19 17:13:40
733
原创 碎碎念——谈谈工作计划和最近出差
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤远方降至，热血难凉。一、前言这篇文章主要是为了记录下近期自己工作...
2020-06-19 08:03:00
217
转载 一篇文章教会你利用Python网络爬虫实现豆瓣电影采集
点击上方“IT共享之家”，进行关注回复“资料”可获赠Python学习福利【一、项目背景】 豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。可以记录想看、在看和看过...
2020-06-18 20:03:00
2201
原创 如何在VMware虚拟机中安装CentOS6.7系统(上篇)
之前给大家分享了在VMware中如何创建CentOS虚拟机，今天给大家分享一下如何在虚拟机中安装CentOS系统，以CentOS6.7系统为例，其他的系统版本也可以参考该教程进行类似处理，具体的流程如下。1、进入VMware，然后找到新创建的那台虚拟机，点击“开启此虚拟机”，如下图所示。2、之后弹出下图的启动界面，这并不是报错，不用慌张。3、如下图所示，点击左下方的光碟logo，然后弹出两个选项，选择“设置”选项。4、弹出下图虚拟机设置界面，选择“使用ISO映像文件”，如下图所示。5、尔后
2020-06-18 14:57:49
426
原创 如何在VMware虚拟机中安装CentOS6.7系统(上篇)
之前给大家分享了在VMware中如何创建CentOS虚拟机，今天给大家分享一下如何在虚拟机中安装CentOS系统，以CentOS6.7系统为例，其他的系统版本也可以参考该教程进行类似处理，具体的流程如下。1、进入VMware，然后找到新创建的那台虚拟机，点击“开启此虚拟机”，如下图所示。
之前给大家分享了在VMware中如何创建CentOS虚拟机，今天给大家分享一下如何在虚拟机中安装CentOS系统，以CentOS6.7系统为例，其他的系统版本也可以参考该教程进行类似处理，具体的流程如下。1、进入VMware，然后找到新创建的那台虚拟机，点击“开启此虚拟机”，如下图所示。2、之后弹出下图的启动界面，这并不是报错，不用慌张。3、如下图所示，点击左下方的光碟logo，然后弹出两个选项，选择“设置”选项。4、弹出下图虚拟机设置界面，选择“使用ISO映像文件”，如下图所示。5、尔后
2020-06-18 12:15:34
214
原创 一篇文章教会你使用Python定时抓取微博评论
【Part1——理论篇】试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓取评论的微博，打开浏览器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。之后点击“参数”选项卡，可以看到参数为下图所示的内容：
2020-06-17 10:08:29
733
转载 数据分析实战：利用python对心脏病数据集进行分析
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤原得此生长报国，何须生入玉门关。我们都很害怕生病，但感冒发烧这种从小到...
2020-06-17 09:00:00
9687
30
原创 手把手教你使用Python库打造一款简易黑客工具
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。/1 前言/随着信息化时代的到来...
2020-06-16 20:38:00
2991
5
原创 手把手教你用Python打造一款批量下载视频并能可视化显示下载进度的下载器
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤桃之夭夭，灼灼其华。/1 前言/平时宅在家的我们最爱做的事莫过于...
2020-06-15 20:03:00
1862
2
转载 什么是脏数据？怎样用箱形图分析异常值？终于有人讲明白了（送Python数据分析与挖掘实战）...
导读：数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。没有可信的数据，数据挖掘构建的模型将是空中楼阁。数据质量分析的主要任务...
2020-06-14 10:00:00
680
原创 手把手教你使用Python网络爬虫获取菜谱信息
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤一腔热血勤珍重，洒去犹能化碧涛。/1 前言/在放假时 ，经常想尝...
2020-06-13 10:03:00
1747
原创 如何在VMware中进行创建CentOS虚拟机
今天给大家分享如何在VMware中创建CentOS虚拟机，CentOS6.7为例进行说明，CentOS7版本亦可以参考该教程，具体的教程如下。1、之后打开VMware，主页面如下图所示。点击第一个框框，“创建新的虚拟机”。2、弹出下图界面，选择第二个“自定义（高级）”，之后“下一步”。3、这一步默认即可，直接点击“下一步”。4、这里点击“稍后安装操作系统”，之后选择“下一步”。5、这一步是选择版本。客户机操作系统默认选择为Linux系统，而版本则根据电脑的位数来进行选择，如果电脑是64位系
2020-06-13 09:51:16
922
转载 一位上海土著90后，教你用Python赚到人生第一桶金
今天给大家介绍一位我的好朋友小胖，曾经也是一名被培训机构坑过的人，但是后期凭借自身的努力也是改变了许多。小胖是前普华永道的TechLeader，带领大数据团队完成了全美医疗保险大数据项目...
2020-06-12 09:00:00
397
原创 手把手教你安装Ubuntu系统增强工具
如果你不安装VMware增强工具的话，VMware经常会给你弹出下图的界面，提示你安装增强工具。那么VMware增强工具到底有啥特别之处咧？其实在VMware虚拟机中安装好VMwareTools之后，就可以实现主机与虚拟机之间的文件共享，可以自由的拖拽文件，十分的方便，再也不用通过Filezilla、Xftp等远程文件传输辅助工具进行传输文件了。此外，鼠标也可在虚拟机与主机之间自由移动，省去按ctrl+alt组合键的功夫，而且虚拟机屏幕也可实现全屏化。VMware增强工具的具体安装过程如下。1、在
2020-06-11 10:08:48
2388
转载 面试官：“同学，你做过真实落地项目吗？”
整个春招阶段，我收到很多粉丝吐槽，尤其是开发岗同学，不少同学都在面试官同一个问题上栽跟头：“同学，你做过真实落地项目吗？”虽然，国内开发岗用人需求依旧很大，但相比平时，企业招聘明显更加谨...
2020-06-10 09:00:00
268
转载 python自动化办公手册之python操作PPT
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤原得此生长报国，何须生入玉门关。前言1）python自动化文档手册pyt...
2020-06-10 09:00:00
2435
6
原创 一篇文章教会你用Python抓取抖音app热点数据
今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例，我们想要抓取抖音的热点榜数据。要知道，这个数据是没有网页版的，只能从手机端下手。首先我们要安装charles抓包APP数据，它是一款收费的抓包修改工具，易上手，数据请求容易控制，修改简单，抓取数据的开始暂停方便等优势，网上也有汉化版，下载地址为http://www.zdfans.com/html/42074.html，一路默认安装就ok了。安装完成后要设置代理，依次点击代理——代理设置。然后在手机端设置代理，如下图所示：在保
2020-06-10 08:58:18
2564
原创 手把手教你进行Scrapy中item类的实例化操作
接下来我们将在爬虫主体文件中对Item的值进行填充。1、首先在爬虫主体文件中将Item模块导入进来，如下图所示。2、第一步的意思是说将items.py中的ArticleItem类导入到爬虫主体文件中去，将两个文件串联起来，其中items.py的部分内容如下图所示。3、将这个ArticleItem类导入之后，接下来我们就可以对这个类进行初始化，并对其进行相应值的填充。首先去parse_detail函数下对其进行实例化，实例化的方法也十分简单，如下图所示。4、接下来，我们将填充对应的值。实际上我.
2020-06-09 09:26:38
705
原创 手把手教你不用客户端也能轻松下载音乐视频
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤宝剑锋从磨砺出，梅花香自苦寒来。/1 前言/今天要跟大家分享一些...
2020-06-09 09:00:00
812
转载 从爬虫入坑到数据分析，分享几点我自学Python的经验
身为职场人，收集上万条表格数据做商业分析，裁剪上千张图片，发送数百封邮件...这些都是经常会遇到的场景。我一直期待能有个工具解放我，直到我遇到了Python。01Python的魅力很多小...
2020-06-09 09:00:00
323
转载 一篇文章教会你利用Python网络爬虫获取穷游攻略
点击上方“IT共享之家”，进行关注回复“资料”可获赠Python学习福利【一、项目背景】 穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方...
2020-06-08 14:19:20
450
原创 浅谈Python内置对象类型——数字篇（附py2和py3的区别之一）
Python是一门面向对象的编程设计语言，程序中每一样东西都可以视为一个对象。Python内置对象可以分为简单类型和容器类型，简单类型主要是数值型数据，而容器类型是可以包含其他对象类型的集体，如序列、元组、映射等。在简单类型对象中，Python的数值数据包括整型（int）、长整型（long）、浮点型（float）、复数（complex）及布尔型（bool）等。在容器类型对象中，序列是指元素按顺序存储的一类对象，主要包括字符串（string）、列表（list）、元组（tuple）等类型。映射是通过键来访问值
2020-06-08 09:11:56
616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人