python爬虫及部分可视化案例
没事干爬点小东西
Arik (IoT)
已毕业,嵌入式软件工程师(正在转型做算法)
展开
-
易班已发推文数据爬取
"""本代码用于爬取易班已发表数据(由于写这篇代码的时候就一页,就没设置翻页)用到的库:selenium、csv、pandas、bs4、time、re最终成果:形成易班推文数据csv格式作者:UPC.故里注:有成功概率,因为易班有时候有登录验证有时候没有"""import timeimport pandas as pdfrom selenium import webdriverfrom selenium.webdriver.common.action_chains import原创 2021-01-27 21:51:12 · 1293 阅读 · 0 评论 -
石大第二课堂可参与活动爬取
"""本代码用于爬取石光可参与活动列表(由于写这篇代码的时候就一页,就没设置翻页)用到的库:selenium、csv、pandas、bs4、time、re最终成果:形成可参与活动列表csv格式作者:UPC.故里注:此代码运行时需要连接UPC校园网或VPN,使用前需要装好响应的库以及下载相应的文件"""import reimport timeimport pandas as pdfrom selenium import webdriverfrom selenium.webdrive原创 2021-01-26 22:33:15 · 375 阅读 · 0 评论 -
for if 大法解决逻辑判断题(憨憨做法)
python解决逻辑判断题:【问题描述】:四个同学小明、小红、小刚、小强分别说:小明说:我第1,小红第4,小刚第3小红说:我第1,小明第4,小刚第2,小强第3小刚说:小红第4,小明第3小强说:小刚第1,我第4,小红第2,小明第3对于四个人的成绩,每个人说的都只有一个是正确的,输出四个人的成绩排名。【代码解决】:注:解法相当憨批,暴力求解,for if 大法,但思路还是比较好理解的【思路分析】:将所有的排序方式列出,选取满足条件的一组,排序结果为:第一个人说的成绩‘a’正确,第二个人说的原创 2020-05-18 10:03:47 · 287 阅读 · 0 评论 -
python大作业进阶——绘制滚动图
python绘制滚动图上面就是效果图(结果为MP4视频)代码展示:1、加载库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']2、读取文件df = pd.read_csv('Province_GDP.cs...原创 2020-05-02 10:43:42 · 2307 阅读 · 1 评论 -
Python每日打卡—进制那些事儿
python每日打卡 — 进制基础应邀写一篇关于进制的文章,首先我们先来了解一下进制,什么是进制呢?答:进制也就是进位计数制,是人为定义的带进位的计数方法所以说,进制是一种计数方法,在我们的日常生活中,我们所用的数字0.1.2.3.4…9.计数,这是一种进制,称十进制,是因为我们常用的这种计数方法都是由 0—9 这十个数字所构成的,逢十进一,所以,几进制就是逢几进一。一、 进制的表示在p...原创 2020-02-26 12:21:44 · 174 阅读 · 0 评论 -
python每日练习—2020.2.25
python每日练习—磁盘写入【问题描述】 从键盘输入一些字符,逐个把它们写到磁盘文件上,直到输入一个 # 为止。【代码实现】:if __name__ == '__main__': from sys import stdout filename = input('输入文件名:\n') fp = open(filename,"w") ch = input('输入...原创 2020-02-25 18:51:50 · 317 阅读 · 0 评论 -
#Python学习打卡—函数式编程—函数基础#
python学习打卡—函数式编程之函数基础函数式编程(Functional Programming)或者函数程序设计,又称泛函编程,是一种编程泛型,他将计算机运算视为数学上的函数计算,并且避免使用程序状态以及易变对象,用于科学计算中,会显得特别简洁。分享一篇小编觉得写得很好的函数式编程文章:http://www.ruanyifeng.com/blog/2012/04/functional_...原创 2020-02-23 19:21:17 · 111 阅读 · 0 评论 -
python每日练习—2020.2.22
字符串排序【问题描述】 输入字符串,按字典顺序从小到大排序,而后输出。【输入形式】 五个字符串,彼此之间用空格间隔。【输出形式】 将五个字符串排序输出【样例输入】 abcde C++ fghijkl Pascal Fortran【样例输出】 C++ Fortran Pascal abcde fghijkl代码实现:str_1,str_2,str_3,str_4,str_5 = inp...原创 2020-02-22 17:31:49 · 1214 阅读 · 0 评论 -
python每日练习—2020.2.21
【问题描述】 输入n和m,并求出n到m之间所有的素数【代码实现】import mathn = int(input("请输入n"))m = int(input("请输入m"))for i in range(n,m): flag = 0 for j in range(2,round(math.sqrt(i)+1)): if i%j == 0: ...原创 2020-02-21 15:31:51 · 202 阅读 · 0 评论 -
python小练习—看时间
输出当地时间import timewhile True: print(time.strftime('%Y-%m-%d-%H:%M:%S',time.localtime(time.time()))) time.sleep(1)结果不统一,请自己尝试查看原创 2020-02-21 15:17:12 · 151 阅读 · 0 评论 -
python每日练习—2020.2.21
【问题描述】 将一个列表的数据复制到另一个列表中。【程序分析】: 使用列表[:],调用copy模块。import copya = [1,2,3,4,['a','b']]b = ac = a[:]d = copy.copy(a)e = copy.deepcopy(a)a.append(5)a[4].append('c')print('a = ',a)print('b = '...原创 2020-02-21 15:10:40 · 148 阅读 · 0 评论 -
Python每日练习—2020.2.21
python每日练习—今天是第几天?【问题描述】 输入某年某月某日,判断这一天是这一年的第几天?【程序分析】 注意特殊情况,闰年时需要考虑二月多加一天代码实现:def isleapyear(year): return (year%400 == 0 or (year%4 == 0 and year/100 != 0))DofM = [0,31,28,31,30,31,30,31,3...原创 2020-02-21 13:47:30 · 149 阅读 · 0 评论 -
Python每日练习—2020.2.21
【问题描述】 一个整数,它加上100后是一个完全平方数,再加上168又是一个完全平方数,请问该数是多少?初步代码实现:import mathnum = 0while True: if math.sqrt(num + 100) == int(math.sqrt(num + 100)) and math.sqrt(num + 268) == int(math.sqrt(num + 26...原创 2020-02-21 10:12:24 · 210 阅读 · 0 评论 -
Python每日练习—DNA匹配A
python练习——DNA匹配—A【问题描述】 编写与字符串对象的find方法功能相似的函数find(srcString, substring, start, end),作用是在srcString串的下标start到下标end之间的片段中寻找subString串的第一次出现的位置,返回该位置值;如果没找到,返回-1。编写程序,输入源串和子串,检验find(someString, substri...原创 2020-02-21 09:31:55 · 3405 阅读 · 2 评论 -
#Python学习打卡——字典#
python学习打卡——字典原创 2020-02-21 21:57:01 · 387 阅读 · 1 评论 -
#Python学习打卡——集合#
python学习打卡——集合set开始今天的教程,其实也不算是教程,只是在学习python的途中总结的一点点小知识点啦。在之前,学了字符串,列表,元组,今天开启一个类似的,那就是集合。集合这个词我们应该在数学中听到的最多,在数学中,集合实际上就是“确定的一堆东西”。集合里的"东西”,叫做元素。由一个或多个确定的元素所构成的整体叫做集合。在python中,集合也是类似的,用set()表示,也可...原创 2020-02-21 08:08:53 · 242 阅读 · 0 评论 -
#Python学习打卡——元组#
Python学习打卡——元组、集合、字典由于之前已经写了有关字符串和列表的博客了,所以在对python有一定的熟悉度下更新这篇,所以这篇的速度可能会较前两篇快一些,挑重点讲哦...原创 2020-02-20 23:04:17 · 347 阅读 · 0 评论 -
#Python 学习打卡——列表#
Python学习打卡——列表List列表是一种有序的集合,可以随时添加和删除其中的元素,其长度是可变的,在Python中,使用[ ]来表示一个列表,列表中的元素可以是int型,str型,也可以是int型和str型的混合型。比如,列出喜欢吃的水果可以用一个list表示:Favorite_fruit = ['cherry','strawberry','榴莲']所以可以看出来列表中的元素可以...原创 2020-02-20 11:08:03 · 320 阅读 · 0 评论 -
Python每日练习—2020.2.19
python练习—求一元二次方程的解**【问题描述】**一元二次方程:ax2+bx+c=0 (a ╪ 0)**【输入形式】**输入a、b和c的值(有理数)**【输出形式】**输出x的两个值,或者No(即没有有理数的解)**【样例输入】**1 2.5 3**【样例输出】**No**【样例输入】**1 -2 1**【样例输出】**1.00 1.00【样例输出说明】输出的两个解保留两位小...原创 2020-02-19 23:44:02 · 2118 阅读 · 0 评论 -
Python每日练习—凯撒加密
python练习——凯撒加密【问题描述】凯撒密码是古罗马凯撒大帝用来保护重要军情的加密系统。这套密码系统在现在看来很低级,但是在古罗马时期还是发挥了重要作用的。凯撒密码的根本思想是按照字母表排列顺序将明文中每个字母变换成其后第n个字母。这里,n(n=1~25)被称作秘钥。请编写程序,针对不同的输入字符串和移动位数,输出经过凯撒加密之后的字符串。【输入形式】第一个输入参数是移动的位数n,...原创 2020-02-19 23:12:24 · 5689 阅读 · 1 评论 -
#Python学习打卡——字符串#
Python学习打卡 之 字符串函数在编写代码时,如果不知道某些函数的具体用法,则可以使用help命令来进行提示和理解。比如,想知道字符串str的简介,可以在Jupyter Notebook中,输入help(str)命令,就可以看到与字符串有关的介绍;输入dir(str)则会显示出字符串所有的私有方法和公有方法,如图所示。下面介绍字符串的常用操作一、字符处理类函数函数含义...原创 2020-02-19 13:10:23 · 253 阅读 · 0 评论 -
Python学习打卡—海龟画图
Python学习第一天——turtle画国旗由于已经有了C的基础,所以基础知识不再讲解,直接上代码!一、画国旗背景import turtle#画国旗背景turtle.up()#抬笔turtle.goto(-200,200)#将笔移动到坐标(-200,200)turtle.down()#开始画turtle.begin_fill()#准备开始填充颜色turtle.fillcolor...原创 2020-02-19 08:25:36 · 711 阅读 · 0 评论 -
Python(学习笔记—网络爬虫)
Python网络爬虫(学习笔记)——First Day——初识爬虫这篇呢作为学习笔记吧,仅限粉丝可看(因为可能不官方)那就开始吧,不太正式,就不注重格式了一、引言首先我们应该想这么个问题,学Python的目的是什么,最近我们开了python这门课,有好多同学的学习方法我感觉出了问题,有的同学问我怎么学,说实在我也不知道,因为我也是新手,C语言也是刚及格,菜鸡一枚。但是就我自己而言,pyth...原创 2020-03-03 17:02:48 · 158 阅读 · 0 评论 -
python爬虫(一)—发起请求
python爬虫(一) 发起请求一、准备工作在准备发起请求的时候,我们需要用到requests库,事实上Urllib和aiohttp也是可以的,但是由于requests已经比较完善了,就不再介绍Urllib和aiohttp了pip安装或者pycharm的settings下载都是可以的。二、数据采集使用首先我们要了解的是如何获取整个页面的东西,这是最基础的,然后我们才需要在整个页面中筛...原创 2020-03-09 18:10:06 · 713 阅读 · 0 评论 -
python爬虫(二)—解析内容(1)
python爬虫(二)——解析内容(1)至于为什么说是(1)呢,因为之后可能会有(2)哈哈哈哈。好的,话不多说。在上一节中,我们已经将整个页面的内容全部捕获了出来,但是整个页面并使我们想要的,我们需要的可能只是那一行代码。这时候,从如此多的网页源代码中提取出内一行的话,有很多种办法,今天介绍用正则表达式提取的这一种(应该算得上最简单的一种吧)开始!!!准备工作import reques...原创 2020-03-10 14:39:18 · 237 阅读 · 0 评论 -
python爬虫(三、四)—获取相应内容+保存数据
python爬虫(三、四)———获取相应内容+保存数据前情回顾:#发起请求import requestsimport reheaders = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80...原创 2020-03-10 16:54:52 · 368 阅读 · 1 评论 -
爬取豆瓣电影新片榜
python爬虫 — 豆瓣电影新片榜豆瓣电影新片榜import requestsimport csvimport pandas as pdfrom bs4 import BeautifulSoupfrom selenium import webdriverfrom urllib3.exceptions import RequestErrordef get_one_page(url...原创 2020-03-18 15:53:46 · 479 阅读 · 0 评论 -
离散课上没事干,爬网易云音乐吧~
爬取网易云音乐热歌榜import requestsfrom bs4 import BeautifulSoupheader = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537...原创 2020-03-20 13:46:51 · 212 阅读 · 2 评论 -
猫眼电影你好像被盯上了
python爬取猫眼电影top_100初学者专用,超基础import reimport requestsfrom urllib3.exceptions import RequestErrorimport csvimport pandas as pddef get_one_page(url): try: headers = { 'Us...原创 2020-03-20 22:30:50 · 168 阅读 · 0 评论 -
虾米音乐榜单(不是音乐)爬爬爬
爬取虾米音乐新歌榜本来还想着么得素材来写,今天就出来了,给人写了个简单的爬虫,就发上来吧import timefrom selenium import webdriverfrom bs4 import BeautifulSoupimport pandas as pdfrom selenium.webdriver.common.action_chains import ActionCha...原创 2020-03-24 08:34:24 · 348 阅读 · 0 评论 -
biubiu~你有一份中国人口数据需要查收
爬取世界人口网上的中国各省的2019年人数和2018年GDP(数据并非完全真实有效)import requestsimport timefrom selenium import webdriverfrom bs4 import BeautifulSoupimport pandas as pdfrom selenium.webdriver.common.action_chains im...原创 2020-03-25 18:35:30 · 233 阅读 · 0 评论 -
basemap你也安装不了?
python下basemap的安装最近需要做可视化,所以需要下载basemap这个模块来绘制地图,可是我在pycharm的setting里直接下载总是会报错,所以我默默打开了在我移动硬盘上吃灰了好久的anaconda(抱歉是我冷落你了)一、准备工作1、已经有anaconda并已配置好环境,运行无压力2、一台运行速度还可以的电脑(非必须条件)3、一颗能够忍受 Error 的心二、实际操作...原创 2020-03-28 09:21:22 · 3079 阅读 · 5 评论 -
python上机课——wordcloud
wordcloud小测试上机课属实无聊哈,实在不想完成拖了好久的大作业,那就玩玩词云吧,毕竟之后要学,先上成果(大力出奇迹)取色来源:(原图分辨率过高,5MB过大上传不了,截图将就着看)有没有发现上面生成的词云和背景图的取色几乎一样(只是几乎,没有达到完全水平),想要完整这些,需要借助这几个模块:imageio、wordcloud、matplotlib,就不介绍下载方式了(pip全都能...原创 2020-04-01 14:53:46 · 511 阅读 · 0 评论 -
Python大作业准备(一)
Python大作业 / 爬虫+可视化(day1)开始搞python大作业了,纯手敲,可参考,不可直接copy思路:对全国各省的地区生产总值进行爬取,并可视化展示爬取网站: http://data.stats.gov.cn/所用库:time,re,selenium,pandas,matplotlib,bs4,csv结果展示:静态(如果时间够的话准备下动态的吧)爬取过程:动态模拟鼠标+静态...原创 2020-04-04 14:57:20 · 10254 阅读 · 9 评论 -
Python大作业进阶(二)
将已绘制的图用图形用户界面打开需要用到 Tkinter 模块加分值:5分?(不能再多了,毕竟百度一搜就可以做出来)实现代码:import tkinterimport numpy as npfrom matplotlib.backends.backend_tkagg import FigureCanvasTkAgg, NavigationToolbar2Tkfrom matplotli...原创 2020-04-07 00:40:14 · 696 阅读 · 0 评论 -
Python大作业进阶(三)
初级动态图只是启用了 plt 的交互绘图功能,代码几乎没变,读者注意看细节吧加分:2分?(不能再多了,就多了三行)import matplotlib.pyplot as pltimport csvplt.rcParams['font.sans-serif']=['SimHei'] # 将plt的汉语设置为黑体# 开启交互式绘图plt.ion()f = open('Province...原创 2020-04-07 00:56:12 · 485 阅读 · 0 评论 -
Python大作业进阶(四)
绘制动态图——根据时间数据来源:数据来源没有数据整合,只为演示绘图(好吧其实是我爬虫的时候出现了些小问题)import matplotlib.pyplot as pltimport csvlist_1 = [679.09,824.39,859.82,911.58,1030.73,1071.45,1312.34,1447.51,1470.1,1232.34,1162.16,1248.27,...原创 2020-04-07 10:46:28 · 506 阅读 · 0 评论