大数据
文章平均质量分 71
weixin_44099558
Python工程师
展开
-
Python数据可视化——分布数据可视化
这篇文章是Python可视化seaborn系列的第二篇文章,本文将详解seaborn如何探索数据的分布。import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns% matplotlib inlinesns.set(context='notebook',fo...原创 2019-01-16 11:01:23 · 6781 阅读 · 0 评论 -
还不懂什么是Python装饰器?看小编手把手教学
讲 Python 装饰器前,我想先举个例子,虽有点污,但跟装饰器这个话题很贴切。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF! 谈装饰器前,还要先要明白一件事,Python 中的函数和 ...原创 2018-12-25 16:36:46 · 94 阅读 · 0 评论 -
Python中强大的库,海量Excel数据都不怕
0. 前言从网页爬下来的大量数据需要清洗?成堆的科学实验数据需要导入 Excel 进行分析?有成堆的表格等待统计?作为人生苦短的 Python 程序员,该如何优雅地操作 Excel?得益于前人的辛勤劳作,Python 处理 Excel 已有很多现成的轮子,使用较多的有:学习Python中有不明白推荐加入交流裙 号:735934...原创 2018-12-25 16:23:49 · 2229 阅读 · 0 评论 -
数据分析最具价值的49个案例(建议收藏)
导读:本文是近年来不同行业、不同领域的大数据公司的一些经典案例总结。尽管有些已经是几年前的案例,但其中的深层逻辑对于未来仍有启发。本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以数据驱动的产品,在产品设计阶段,强调个性化;在产品运营阶段,则强调...转载 2019-01-04 16:18:44 · 64390 阅读 · 1 评论 -
做外G我没服过谁,除了Python
玩过电脑游戏的同学对于外挂肯定不陌生,但是你在用外挂的时候有没有想过如何做一个外挂呢?学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!我打开了4399小游戏网,点开了一个不知名的游戏,唔,做寿司的,...原创 2018-12-29 19:36:44 · 309 阅读 · 0 评论 -
史上最详细Python爬取电影教程,还不会那也是没谁了
摘要: 作为小白,爬虫可以说是入门python最快和最容易获得成就感的途径。因为初级爬虫的套路相对固定,常见的方法只有几种,比较好上手。选取网页结构较为简单的猫眼top100电影为案例进行练习。 重点是用上述所说的4种方法提取出关键内容。一个问题采用不同的解决方法有助于拓展思维,通过不断练习就能够灵活运用。学习Python中有不明白推荐加入交流裙 号:73593...原创 2018-12-29 18:59:14 · 12416 阅读 · 0 评论 -
教你用Python访问一零二四网站,拒绝伸手党
学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF! 我感觉这个虫子全网***最方便***,最牛逼,最便捷,***最能解决实际问题***的虫子!活学活用,真正的让代码方便我的生活,这才...原创 2018-12-25 16:43:10 · 379 阅读 · 0 评论 -
“圣诞节”,Python代码给你戴上“小红帽”
每年到这个时候,微信好友的头像都会开始换上「圣诞」皮肤。最常见的就是加个圣诞小帽子了。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF! 当然这种事情用很多 P 图软件都可以做到,微信搜索「圣诞帽」也...原创 2018-12-25 16:50:34 · 3506 阅读 · 0 评论 -
Python开源社区决定了以后谁说了算
在Guido van Rossum放弃了他作为Python领导者的角色之后,他在所有与Python语言有关的决策中拥有最终的权力,因此有必要采用其他方式来运行该项目。经过一段漫长的、民主的过程之后,Python将来会由一个由五人组成的指导委员会管理。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合...原创 2018-12-25 16:54:09 · 207 阅读 · 0 评论 -
Python 字符串连接方式有这么种,你知道吗?
字符串连接,就是将2个或以上的字符串合并成一个,看上去连接字符串是一个非常基础的小问题,但是在Python中,我们可以用多种方式实现字符串的连接,稍有不慎就有可能因为选择不当而给程序带来性能损失。方法1:加号连接很多语言都支持使用加号连接字符串,Python也不例外,只需要简单的将2个或多个字符串相加就可以完成拼接。a = 'Python'b = '私房菜'r = a +...原创 2019-01-15 14:36:04 · 150 阅读 · 0 评论 -
小白版Python环境搭建,还不会你就掐死小编吧(建议收藏)
写在前面这篇文章专门针对小白进行超详细的Python环境安装教程,一步一步带你进行界面化pycharm的安装,每一步附文字讲解。希望广大的、热爱Python的小伙伴能够在这篇文章的讲解下能够轻松掌握Python入门的第一步 正文一.python环境的搭建运行环境:window 64位操作系统(1).下载pycharm(这里以Python 3.x为例)1、打开下...原创 2019-01-09 11:19:59 · 208 阅读 · 0 评论 -
Python 程序员最常犯的十个错误,作为小白的你是不是也经常犯?
常见错误1:错误地将表达式作为函数的默认参数在Python中,我们可以为函数的某个参数设置默认值,使该参数成为可选参数。虽然这是一个很好的语言特性,但是当默认值是可变类型时,也会导致一些令人困惑的情况。我们来看看下面这个Python函数定义:>>> def foo(bar=[]): # bar是可选参数,如果没有提供bar的值,则默认为[],... bar.appen...原创 2019-01-19 15:49:36 · 681 阅读 · 0 评论 -
一行代码搞定 Scrapy 随机 User-Agent 设置
摘要:爬虫过程中的反爬措施非常重要,其中设置随机 User-Agent 是一项重要的反爬措施,Scrapy 中设置随机 UA 的方式有很多种,有的复杂有的简单,本文就对这些方法进行汇总,提供一种只需要一行代码的设置方式。最近使用 Scrapy 爬一个网站,遇到了网站反爬的情况,于是开始搜索一些反爬措施,了解到设置随机 UA 来伪装请求头是一种常用的方式,这能够做到一定程度上避免网站直接识别出你...原创 2019-01-08 15:21:40 · 167 阅读 · 0 评论 -
爬数据过多经常被封IP,该怎么办呢 ?进来看看我的方法
继续老套路,这两天我爬取了猪八戒上的一些数据 网址是:http://task.zbj.com/t-ppsj/p1s5.html,可能是由于爬取的数据量有点多吧,结果我的IP被封了,需要自己手动来验证解封ip,但这显然阻止了我爬取更多的数据了。 下面是我写的爬取猪八戒的被封IP的代码# coding=utf-8import requestsfrom lxml import et...原创 2019-01-08 14:54:00 · 7116 阅读 · 1 评论 -
Python爬取动态说说,生成词云,看看朋友的现状
今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况。这是好友的QQ空间10年说说内容,基本有一个大致的印象了。 爬取动态内容1.因为动态页面的内容是动态加载出来的,所以我们需要不断下滑,加载页面2.切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况3.获取页...原创 2019-01-08 14:27:08 · 378 阅读 · 1 评论 -
Python | 5分钟搞定 Python3 元组
简介Python3 中元组表现为如下形式:元组(tuple)是一种静态的(immutable)或者说是不可变(unchangeable)的数据结构,里面的元素按照一定的顺序排列。它是静态的,所以元组里的元素不能被修改。元组用于给数据分组。元组中的每一个元素称之为“项”(item)。元组中的值被包装在括号中,并用逗号分隔,空元组可以写成coral=(),不过只有一项元素的元组...原创 2019-01-17 15:05:49 · 166 阅读 · 0 评论 -
大数据时代|搭建Python数据分析平台
一、基本架构其实没什么高深的东西,无非是常用的那一套:pandas, numpy, matplotlib…但是为了更方便使用,加持了 jupyter notebook(即以前的ipython notebook)……又为了更方便使用,前端加了nginx或apache反代……双为了更安全,加持了Let’s Encrypt的HTTPS(只是这台服务器没有80端口,原因你懂的...原创 2019-01-10 15:42:10 · 699 阅读 · 0 评论 -
Python实战:打造多人在线匿名聊天的小程序!
最近看到好多设计类网站,都提供了多人在线匿名聊天的小功能,感觉很有意思,于是自己就用django框架写了一个,支持手动实时更名,学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!在线聊天(不需要...原创 2018-12-25 17:01:39 · 1818 阅读 · 0 评论 -
Python学好了,飞机票你还买不到么?
项目:机票数据采集使用模块:requests(请求模块),js2py(js执行模块),json(解析json),xpath(解析网页)。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!项目流程:...原创 2018-12-25 16:58:36 · 624 阅读 · 0 评论 -
推荐几款Python编程类游戏,妈妈再也不用担心我的学习了
自学过编程的小伙伴都知道,在学习的过程中,不仅仅要记下很多的知识点,而且那些知识点,都是非常的干,很干,很干,没有一点乐趣的感觉..... 所以在很多人学习Python的人,也许他的基础知识还没有学好,就会选择去看一些爬虫的案例,然后也会自己尝试的去写一些爬虫的案例,但是一碰见BUG 就不知道怎么办了,甚至连最简单报错信息都看不懂,更加不用说去改了!学习Python中有不明白推荐加入...原创 2018-12-29 18:48:41 · 13993 阅读 · 0 评论 -
解锁Python的正确方法,告别迷茫,一点就通
前段时间小编和大家一起分享了一篇关于学习方法内容《大牛与搬运工的差距——学习方法的力量》。我们将学习过程分成八步,并借鉴了敏捷开发的迭代思想,以达到自我迭代学习的效果。行胜于言,理论结合实践才是王道,所以本文我将基于前面的学习方法,分享我是如何学习python的。学习Python中有不明白推荐加入交流裙 号:735934841 ...原创 2018-12-27 15:23:06 · 242 阅读 · 0 评论 -
Python 进阶:自定义对象实现切片功能
切片是 Python 中最迷人最强大最 Amazing 的语言特性(几乎没有之一),在《 Python进阶:切片的误区与高级用法 》中,介绍了切片的基础用法、高级用法以及一些使用误区。这些内容都是基于原生的序列类型(如字符串、列表、元组……),那么,我们是否可以定义自己的序列类型并让它支持切片语法呢?更进一步,我们是否可以自定义其它对象(如字典)并让它支持切片呢?学习Python中有不明白推荐...原创 2018-12-27 15:18:51 · 354 阅读 · 0 评论 -
单身也要交税了?赶快用爬虫物色妹子吧
单身税的历史可以追溯到2015年韩国的新政, 低生育率逼得韩国产生了这一政策。现在我国也要实行这一政策, 很多单身狗就接受不了了 学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF! 很可...原创 2018-12-27 15:04:27 · 634 阅读 · 0 评论 -
利用python挽救心仪的女神,解决了她工作的烦恼
最近在业务办公区域对接需求的时候,发现了一位漂亮妹子的「苦恼」,简单来说就是她每天都得花一个多小时的时间去将整理好的数据录入到系统中。 学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!为什么是苦恼...原创 2018-12-26 20:15:58 · 165 阅读 · 0 评论 -
Python神器,实现网盘资源搜索,看看内存剩多少
使用说明:在本地搭建PHP环境,比如使用XAMPP、PHPStudy即可快速搭建,导入下方的lanzou.sql(附件下载)到Mysql数据库,配置好前端中的api.php中的api地址为自己的即可。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, ...原创 2018-12-26 20:10:58 · 686 阅读 · 0 评论 -
网易云音乐爬虫超简单,告别会员享受听觉盛宴
小编下面给大家分享一个爬虫干货案例,爬取网易云付费音乐。你心动了么?学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!先来看效果图:TIM截图20180716011847.png使用方法:到网...原创 2018-12-26 20:02:19 · 3393 阅读 · 2 评论 -
如何用一行python命令让手机读取电脑文件!
本文讲解python的一个内置文件传输下载器,可以用来在局域网内进行文件传输,当然可能有人会问,我用微信QQ也能传,为什么还要用python来传输下载?在此,其实我个人感觉的是,这种操作更简单,省了时间,比如之前在培训班的时候,老师就是通过这个方式,每天上课的资料他都直接放到他的电脑。给我们一个IP地址,我们就能访问下载,这样他就能偷懒了,不用费时间盯着文件通过QQ和微信传的慢这样的问题,也不...原创 2018-12-26 19:54:44 · 460 阅读 · 0 评论 -
你的爬虫被后台检测到了?这么做才能隐藏爬虫
前言我们在写一个简单的爬虫时,爬虫代码很容易就会被后台检测到进而封掉。那么怎么样才能避免这些事发生呢?这一这篇文章我们一起来学习,如何健壮我们的爬虫代码。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PD...原创 2018-12-26 19:50:24 · 6317 阅读 · 1 评论 -
6个超好用的Python IDE,我选pycharm,你呢?
对于新手学Python的小伙伴来说,一个好的Python编辑器可以在你的学习过程中披荆斩棘,在你编辑代码的过程中,可以说是一个无往不利的利器。小编今天就给大家介绍6个超好用的Python编辑器,真的好用,亲测哦~学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, ...原创 2018-12-26 19:46:41 · 3370 阅读 · 0 评论 -
Python也可以抢网速,我下了十部电影,室友才一部
我们就用几个小例子来展示一下编程能给我们的工作生活带来怎样意想不到的便利。希望通过适当的引导,大家能体会编程的爽,乐在其中,享受编码的乐趣。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!首先声明,我们的原则...原创 2018-12-27 15:31:33 · 1242 阅读 · 0 评论 -
8个常用爬虫技巧盘点,看看你知道多少?
python入门时用得最多的还是各类爬虫脚本,写过抓代理本机验证的脚本、写过论坛中自动登录自动发贴的脚本写过自动收邮件的脚本、写过简单的验证码识别的脚本。这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,故累积了不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。学习Python中有不明白推荐加入交流裙 ...原创 2018-12-27 15:43:58 · 286 阅读 · 0 评论 -
Python爬取房产数据,哪里跌价买哪里,你可能不赚,但我永远不亏
小伙伴,我又来了,这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上,地图工具我用的是 BDP个人版-免费在线数据分析软件,数据可视化软件 ,这个可以导入csv或者excel数据学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群...原创 2018-12-27 15:55:58 · 336 阅读 · 0 评论 -
Python运维篇:会Python的运维工程师价值多少?
学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!Tips:或许你经常听说,一个高级运维必须会Python。一个不会Python的运维拿不了高薪。那么,Python和运维的关系是什么呢?为什么Pyth...原创 2018-12-24 15:18:21 · 940 阅读 · 0 评论 -
Python编程:聊天群的屏蔽脏话
突然想到一个视频里面弹幕被和谐的一满屏的*号觉得很有趣,然后就想用python来试试写写看,结果还真玩出了点效果。学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习教程和PDF!思路是首先你得有一个脏话存放的仓库好...原创 2018-12-24 15:14:08 · 500 阅读 · 0 评论 -
听说你的爬虫又被封了?那是你不会这些
目录 前言 Spider Middleware 瞎比比前言上一篇文章《爬虫利器初体验(1)》中,我们举了个简单的栗子,但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些事发生呢?这一这篇文章我们一起来学习,如何健壮我们的爬虫代码。学习Python中有不明白推荐加入交流裙 号:735934841 ...原创 2018-12-29 14:47:38 · 373 阅读 · 0 评论 -
又是一年春运,Python一招自动捞票哦~
前言年味越来越淡,但我对过年的期待一直没变。为了理想,离开家乡。这一路,背上行囊,穿过人潮,千里迢迢。疲惫也好,激动也罢,总有家乡值得牵挂。但是,所有的乡愁和感伤,最好的解药就是一张火车票。每当万事俱备,总是只欠东风,我依然是被一张 5mm 厚的火车票拦在了门外。隐隐约约在我眼前出现,然后又悄无声息的走掉,说的就是你,我花钱加速都抢不到的火车票。所以阿广今天教大家如何用 Pyth...原创 2018-12-28 21:59:41 · 1128 阅读 · 1 评论 -
学会了Python之后,所有平台的电音都是强行破解观看的!
需要源码的小伙伴加入交流裙 号:735934841 私聊0管0理0员0获取哦~ 笔者正式调用了这两个网站,实现视频在线播放的。至于,视频下载界面如何调出,即是本文的重点。 ...原创 2018-12-28 20:36:16 · 340 阅读 · 0 评论 -
表格再也难不到你,教大家13个Python处理Excel表格常用技巧
入职数据岗快两个月了,多数时间还是和excel打交道。以至于上周想写下Python,却发觉有点生疏,突然慌了起来,也想起以前看过的一篇学Python的文章,大意是自从学了Python后就逼迫自己不用Excel,所有操作用Python实现。目的是巩固Python,与增强数据处理能力。这也是我写这篇文章的初衷。废话不说了,直接进入正题。学习Python中有不明白推荐加入交流裙 ...原创 2018-12-28 20:15:05 · 2414 阅读 · 0 评论 -
2019 python最新系统学习路线图,掌握这些至少拿30W年薪
Python有三大神器,包括numpy,scipy,matplotlib,因此适合用于数据处理。spark,Hadoop都开了Python的接口,所以使用Python做Python的mapreduce也非常简单。因此它也备受欢迎,python学习大纲分享给大家。 一、Python基础 Python是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进...原创 2018-12-28 16:13:31 · 218 阅读 · 0 评论 -
Python实现数据可视化,绘制各种图案
环境系统:windows10python版本:python3.6.1使用的库:matplotlib,numpy numpy库产生随机数几种方法 学习Python中有不明白推荐加入交流裙 号:735934841 群里有志同道合的小伙伴,互帮互助, 群里有免费的视频学习...原创 2018-12-28 16:08:54 · 1388 阅读 · 0 评论