Python
文章平均质量分 66
AllenGd
人生之奋斗,其苦无穷,其乐无穷。
展开
-
ModuleNotFoundError: No module named ‘pandas’
在使用python的时候,经常会出现出现“ModuleNotFoundError: No module named ‘pandas’ ”的错误,以至于不知道该如何去操作针对出现的错误,可以进行如下的操作1.输入cmd打开命令提示符2.在打开的窗口里面输入pip install pandas -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com出现类似于上图的图片内的内容,则说明成功了,可以在python中继续运行了原创 2022-03-08 10:11:39 · 3058 阅读 · 3 评论 -
Mysql到Hbase数据实时增量同步案例(框架:MySQL-binlog+Maxwell+Kafka+python+Hbase)
导语之前写过几篇博客(canal与Maxwell比较、Kafka、hbase等),有童鞋私信我,问我如何通过MySQL binlog数据同步到其他数据库(比如:Hbase、Hive等),今天我就这里做一个案例实践操作。系统环境CentOS Linux、JDK、zookeeper、kafka、Maxwell、MySQL、Hbase本次可以学习如下知识:1)、MySQL binlog启用配置与使用2)、binlog查看提取方案maxwell3)、zookeeper基本使用4)、K原创 2020-07-10 12:23:42 · 2934 阅读 · 0 评论 -
Python库大全
学Python,想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富,开源项目也非常多。Python学习网络爬虫主要分3个大的版块:抓取,分析,存储当我们在浏览器中输入一个url后回车,后台会发生什么?简单来说这段过程发生了以下四个步骤: 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求,发回网页内容。 浏览器解析网页内容。 那么学习爬虫需要掌握哪些库呢?通用: urllib -网络库(stdlib)。 reque原创 2020-07-02 17:05:07 · 272 阅读 · 0 评论 -
python从网站拿数据到excel
之前写过一篇文章爬取图片的,有的童鞋就私聊我,说能不能写一篇爬取数据的,便于分析,下面就简单介绍一下爬取1688网站的商品的步骤:如果你正在追求一个小姐姐,那么我只能帮你到这了。啊哈哈代码:import urllibimport xlwtfrom bs4 import BeautifulSoupimport requestsdef writeExcel(ilt, name): if (name != ''): count = 0 workbook = xlwt...原创 2020-06-30 11:00:23 · 3436 阅读 · 0 评论 -
什么是网络爬虫?爬虫有什么好处?
简单来讲,爬虫就是一个探测机器,它的基本操作就是模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。你可以简单地想象:每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛,吹出一堆猴子一样。你每天使用的百度,其实就是利用了这种爬虫技术:每天放出无数爬虫到各个网站,把他们的信息抓回来,然后化好淡妆排着小队等你来检索。抢票软件,就相当于撒出去无数个分身,每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票,就马上拍下来,然后对原创 2020-06-30 10:47:58 · 6152 阅读 · 0 评论 -
Python实践-简单的爬取图片
1.准备工作:Python的安装:到官方网站下载:https://www.python.org/下载后,安装,配置环境变量,之后检查安装是否成功:win+r,输入cmd,再敲命令python,出现如下情况,说明安装成功Python开发工具Pycharm:下载地址:https://www.jetbrains.com/pycharm/2.开始爬虫今天我们来爬取图片,有的人可能会问为什么要爬取图片呢,我可以直接下载啊,一张、两张是可以手动下载,如果成千上万张,手动下载就太浪费时原创 2020-06-22 11:21:31 · 1980 阅读 · 0 评论