python数据整理+突发断网解决方法（学习笔记，我是如何收割多家大厂offer的

content=urllib.request.urlopen(reuqest).read()

soup=BeautifulSoup(content,‘lxml’)

tables=soup.findAll(‘table’)

tab=tables[2] # 查找发现tables[2]是我们要的数据

skdata=pd.read_html(tab.prettify())

skdf=pd.DataFrame(skdata[0])

skdfs=skdfs.append(skdf)

print(‘已经完成第’+str(ski)+‘页’)

skdf.to_excel(“skfiles/”+str(ski)+“.xlsx”,encoding=‘utf-8-sig’) # 在skfiles文件夹下面

time.sleep(np.random.randint(5))

skdfs.to_excel(“skfiles.xlsx”,encoding=‘utf-8-sig’)

如图即为爬取的数据，会放到skfiles文件夹下的Excel当中：

一个Excel当中有20条记录，那么如果是要让100条记录在一个Excel当中呢？

for ski in range(0,30): # 0-30页，我要每5页创建一个Excel文件

skdf=pd.DataFrame()

url=‘http://fz.people.com.cn/skygb/sk/index.php/index/seach/’+str(ski)

reuqest=urllib.request.Request(url,headers=headers)

content=urllib.request.urlopen(reuqest).read()

soup=BeautifulSoup(content,‘lxml’)

tables=soup.findAll(‘table’)

tab=tables[2] # 查找发现tables[2]是我们要的数据

skdata=pd.read_html(tab.prettify())

skdf=pd.DataFrame(skdata[0])

skdfs=skdfs.append(skdf)

print(‘已经完成第’+str(ski)+‘页’)

if((ski%10)==0):

skdf.to_excel(“skfiles/”+str(ski)+“.xlsx”,encoding=‘utf-8-sig’) # 在skfiles文件夹下面

time.sleep(np.random.randint(5))

skdfs.to_excel(“skfiles.xlsx”,encoding=‘utf-8-sig’)

每隔5页创建一个Excel文件：

数据合并（追加）

======================================================================

比如我们要把上面的5.xlsx到25.xlsx合并起来，应该如果做呢

方法一：Excel

---

调用查询编辑器power quer：

导入数据源：将10.xlsx与25.xlsx进行连接：

此时即追加成功

方法二：Python

---

我要将下图的两个Excel文件通过Python进行合并

注：不能直接写("skdf2810.xlsx",usecols=np.arange(1,21)) ，要确保Python与Excel的文件路径一致。

import numpy as np

import pandas as pd

skdf1=pd.read_excel(“skfiles/skdf2810.xlsx”,usecols=np.arange(1,21))

skdf2=pd.read_excel(“skfiles/skdf5020.xlsx”,usecols=np.arange(1,21))

其中这句话的含义是：usecols=np.arange(1,21)当读取表格的时候只从第一列开始读，第0列不用读，因为0列没有多大意义。

合并：

skdf=skdf1.append(skdf2)

skdf.info

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-I8Wirc1x-1711198009749)]