qq_39022311的博客

近期想学习下数据分析，里边有用到pandas库，在书上网上找了些知识点想把它写下来便于以后自己的温习与分享。pandas库主要有Series和DataFrame两个数据结构Series 是一个类数组的数据结构，有索引index 可以理解为序列DataFrame 按列存储的数据结构,所有的数据都是按列存放的 每列都是Series序列的结构下面是关于pandas基础用法的实现#导入...

服务器报Couldn’t find a tree builder with the features you requested: lxml 问题解决自己是在window系统下面运行的爬虫代码的时候运行没问题，可是当项目部署到服务器之后就出问题了，不知道为啥，说不出个所以然，一行一行代码去找，抛出了这个异常。查了网上很多资料终于有果因为lxml依赖的包如下:libxml2, libxml2...

在程序开发阶段，显然我们需要大量的日志。打个比方，我们的程序是一个卖东西的网站，那么关于用户关于钱的，关于商品销售等所有操作我们都应该记录下来，起码可以知道用户花了多少钱，商品销售的怎么样了。当我们使用爬虫爬取网页时，我们通过日志，能更直观得了解到我们得爬虫爬到哪了，数据是怎样的，有没有哪里报错等等等等信息。日志级别：critical > error > warning >...

本篇使用 selenium技术 爬取快代理上的代理IP，并判断其是否可用。#爬取代理IPfrom selenium import webdriverfrom selenium.webdriver.common.proxy import Proxyfrom selenium.webdriver.common.proxy import ProxyTypefrom selenium.webd...

爬取猫眼电影中经典电影里所有电影的电影名，图片以及评分不多说，直接上代码:由于爬取数量较多，所以电影图片就没有下载了，爬下来的是图片的网页连接，可以看我博客里面有篇文章是讲文件的读写操作的，包括json和pickle方式。import requestsimport reimport randomimport pymysqlimport time# ------连接数据库db ...

Python对文件和目录的操作中基础常用的操作如以下：操作作用os.path.exists(filePath)判断文件file是否存在(filePath可以是文件的相对绝对路径)os.rename(filePath1,filePath)将filePath1重命名为filePath2os.path.dirname(filePath)得到文件filePath的目...

with语句用于对try except finally 等的优化，让代码更加美观，例如常用的读取文件的操作，用try except finally 实现：try: fo=open( 'context.txt','r',encoding='utf8' ) fo.read()except: passfinally: fo.close()是不是显得有点拖泥带水...

关于Python对文件和流的操作本人也是初学者，在Python官网上看到的相关的文档，说的不好还请谅解，指出。值描述‘r’只读模式‘w’只写模式（会覆盖掉已经有的内容）‘a’追加模式（向已有的内容后面进行追加）‘b’二进制模式‘t’文本模式‘+’读写模式‘U’通用匹配换行符模式...

Win10 配置 Python 默认镜像源原文：https://blog.csdn.net/yaoqiwaimai/article/details/57084997用notepad++创建pip.ini文件，保存位置为%USERPROFILE%\pip\pip.ini. %USERPROFILE%具体指的是什么目录，可以cmd命令行中输入set，查看所有系统变量，找到USERPROFILE...

伪随机数生成器，顾名思义就是它能产生随机数！，实际上这种生成器就是一个小算法，通过一定的算法去生成一个个的随机数。现在网上流行的伪随机生成器的算法大致分为两种：1.平方取中法2.线性同余法线性同余法的随机概率更大一点，不容易随机，以下我要讲的也是关于线性同余法产生随机数的方法。 线性同余法的公式： rNew=(a*rOld+b) % (end-start) 其中： a成为乘数，b称为增...

装饰器是什么？他有什么特点？ 装饰器就是对被装饰的对象（函数、类）进行重构的，其可以在不改变原来对象的情况下调用对象时执行重构后的行为 特点： 1.修饰器本质上也是一个函数，2.只不过这个函数接收其他函数作为参数3.并对其进行一定的改造之后返回新函数上实例：问：定义一种方案，能在一个函数执行前输出hello，执行后输出byebye，并统计函数运行的时间？def s...