- 博客(67)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 python—简单数据抓取七（采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用，利用ip池访问网页并将scrapy爬取转移到items的数据存入到数据库）
学习目标：Python学习二十七—简单数据抓取七学习内容：1、采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用2、将scrapy爬取转移到items的数据存入到数据库3、注意事项1、采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用以安居客为例（安居客会根据访问的IP地址对用户进行限制）1、首先创建一个爬取安居客的项目在cmd窗口cd到项目需要保存的位置，输入：scrapy startproject fangzi，创建fang
2021-02-10 03:36:00
2448
2
原创 python的多进程的apply和apply_async
学习目标：多线程的apply和apply_async学习内容：1、apply会等待子进程结束以后，主进程才结束2、apply_async不会等待子进程结束，主进程会直接执行1、apply会等待子进程结束以后，主进程才结束创建测试进程：import timeimport randomimport multiprocessingdef print_time(num): print('processing num is %s' % num) time.sleep(rand
2021-04-23 13:34:06
998
1
原创 猿人学试题（非常简单js混淆、雪碧图、样式干扰 css加密、js混淆源码乱码、js混淆动态cookie、访问逻辑）
学习目标：python学习—猿人学试题学习内容：1、非常简单js混淆1、非常简单js混淆试题连接:http://match.yuanrenxue.com/match/12解决方法：import base64import requestsimport time# http://match.yuanrenxue.com/api/match/12?page=1&m=eXVhbnJlbnh1ZTE%3Dsum = 0for i in range(5): time.sl
2021-03-20 23:04:44
9788
原创 python—数据分析（pandas的数据结构、pandas数据分析和数据处理的基本功能、汇总和计算描述统计）
学习目标：python学习三十二—简单的数据分析学习内容：1、pandas的数据结构 - pandas是含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具。pandas经常和其它工具一同使用，如数值计算工具NumPy和SciPy，分析库statsmodels和scikit-learn，和数据可视化库matplotlib。pandas是基于NumPy数组构建的，特别是基于数组的函数和不使用for循环的数据处理 - pandas采用了大量的NumPy编码风格，但二者最大的不同是pandas
2021-03-18 11:30:45
801
原创 python—数据分析(认识numpy、NumPy最重要的一个特点就是其N维数组对象（ndarray）、切片和基本的索引、通用函数：快速的元素级数组函数、利用数组进行数据处理等等。。。)
学习目标：python学习三十一—简单的数据分析学习内容：1、认识numpy1、认识numpyNumPy：（Numerical Python的简称）是Python数值计算最重要的基础包NumPy的部分功能如下：a、 ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。b、用于对整组数据进行快速运算的标准数学函数（无需编写循环）。c、用于读写磁盘数据的工具以及用于操作内存映射文件的工具。d、线性代数、随机数生成以及傅里叶变换功能。e、用于集成由C、C+
2021-03-12 15:34:28
886
原创 python—简单数据抓取十(抓取网易云音乐信息、破解起点中文网的字体加密)
学习目标：python学习三十—简单数据抓取十学习内容：1、抓取网易云音乐信息1、抓取网易云音乐信息# coding = utf-8from Crypto.Cipher import AESimport base64import requestsimport jsonheaders = {'Host': 'music.163.com','Origin': 'http://music.163.com','User-Agent': 'Mozilla/5.0 (Windows NT
2021-03-07 22:39:36
624
1
原创 python—简单的数据抓取九(抓取中医智库古籍的所有书籍的内容)
学习目标：python学习二十九—简单数据抓取九学习内容：1、抓取中医智库古籍的所有书籍的内容1、抓取中医智库古籍的所有书籍的内容中医智库中的文字进行了加密，需要将返回的数据转为json，再base64解码，然后还要进行AES解密，最后还要将解密后的内容进行解压缩import requestsfrom lxml.html import etreeimport jsonimport base64import pyaesimport zlib# pip install pycry
2021-03-04 23:40:19
731
1
原创 爬虫工具的使用(fiddler连接手机、scrapy项目部署到scrapyd、scrapy和gerapy部署网络爬虫)
学习目标：python—爬虫工具的使用学习内容：1、fiddler连接手机2、scrapy项目部署到scrapyd1、fiddler连接手机1、安装fiddler软件，然后点击Tools—》》》Options获取所有的进程信息：2、获取手机端的证书点击Actions——》》》Export Root Certificate to Desktop将手机证书下载到桌面，需要将这个证书弄到手机端安装好3、电脑打开热点用手机连上电脑，手动配置手机的代理为电脑的ip地址（同时是fidd
2021-03-02 22:59:13
538
1
原创 python—简单数据抓取八(scrapy_redis实现增量式爬虫、Scrapy-Redis中对接Bloom Filter去重)
学习目标：python学习二十八——简单数据抓取八学习内容：1、scrapy_redis实现增量式爬虫1、scrapy_redis实现增量式爬虫1、Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：请求对象的持久化去重的持久化和实现分布式2、scrapy_redis的工作特点：在scrapy_redis中，所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中所有的服务器公用一个redis中的request对象所有的reque
2021-02-23 23:10:51
652
1
原创 django项目—exam（简单的学生管理）
学习目标：熟悉django创建项目的过程学习内容：1、创建相关的项目2、完成相关的项目搭建和各文件的创建1、创建相关的项目2、完成相关的项目搭建和各文件的创建1、首先因为存在多表联查和登录用户，所以数据库的表值得注意exam项目的models.py文件from django.db import modelsclass User(models.Model): gender = ( ('male', '男'), ('female', '女'
2021-02-20 01:14:49
312
原创 python—简单数据抓取六（安装scrapy环境并创建爬虫项目、以顶点小说网为例利用scrapy进行爬取、scrapy相关的注意事项）
学习目标：python学习二十六—简单数据抓取六学习内容：学习使用scrapy1、安装scrapy环境并创建爬虫项目2、以顶点小说网为例利用scrapy进行爬取3、scrapy相关的注意事项1、安装scrapy环境并创建爬虫项目windows电脑的cmd中输入canda install scrapy安装scrapy环境scrapy爬虫为异步，在爬取的过程中就可能会出现显示顺序不一致cmd到项目需要保存的位置，输入scrapy startproject 项目名创建项目cd到项目
2021-02-07 01:18:08
422
原创 python—简单数据抓取五（如何让京东商品页显示60条数据、利用软件驱动实现超级鹰用户自动登录、利用iframe元素自动打开qq空间密码登录页面）
学习目标：python学习二十五—简单数据抓取五学习内容：1、改变url的方式抓取到一整页60个京东商品信息2、请求一个奇数页面，紧接着的偶数页面的链接在奇数链接的基础上加上后30个商品的编号，就能显示60个商品信息3、利用自动化软件获取京东页面一整页60个商品信息4、利用自动化软件自动输入用户信息登录超级鹰网站
2021-01-30 04:11:02
610
1
原创 python—简单数据抓取四（利用超级鹰的ocr识别图片验证码模拟登录超级鹰网站、利用百度云的ocr识别自如租房网价格图片获取到自如网的价格）
学习目标：python学习二十四—简单数据抓取四学习内容：1、模拟登录网站1、模拟登录网站
2021-01-29 00:16:01
592
原创 python—简单数据抓取三（简单IP地址代理、利用蘑菇代理实现IP地址代理刷新本地ip地址、利用蘑菇代理实现IP地址代理抓取安居客信息并实现多线程）
学习目标：python学习二十三 —数据抓取三、学习内容：1、简单IP地址代理2、利用蘑菇代理实现IP地址代理刷新本地ip地址3、利用蘑菇代理实现IP地址代理抓取安居客信息并实现多线程1、简单IP地址代理import requestsfrom lxml import etree# 代理IP地址proxy = {"http": "代理ip:端口号"}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Ap
2021-01-25 22:25:55
680
原创 python—简单数据抓取二（抓取笔趣阁、趣事百科、优图网、安居客）
学习目标：python二十二—简单数据抓取二学习内容：1、抓取笔趣阁的首页小说简介1、抓取笔趣阁的首页小说简介source = requests.get('http://www.xbiquge.la', headers=headers).textbase = etree.HTML(source).xpath('//*[@id="newscontent"]/div[1]/ul/li')for i in base: type = i.xpath('span[1]/text()')
2021-01-23 22:41:57
1608
原创 python—简单的数据抓取一（简单的文字数据抓取(认识cookie)、简单的图片抓取）
学习目标：python学习二十一 —数据抓取以及相关事项学习内容：1、数据抓取、认识cookie1、数据抓取1、cookie的认识session机制采用的是在服务端保持状态的方案，而cookie机制则是在客户端保持状态的方案，cookie又叫会话跟踪机制常见的是持久cookie：当我们在网站中，首次访问或者登陆就会生成cookie，即便跳转页面或者关闭浏览器再打开你依然是登陆状态cookie的集中常见属性：document.cookie=“key=value;expires=失效时间;
2021-01-21 23:18:37
388
1
原创 django实例(环境、static、templates、路由、网页书籍类型选择、网页中间显示小说信息、ajax实现翻页)
学习目标：python学习二十-django编写hj项目学习内容：1、设置环境和相关配置2、在static中放入相关的文件3、在templates中存放html文件4、路由的配置1、设置环境和相关配置1在django存放项目的目录下创建hj项目，在数据库中建好数据库，完成相关连接以及static和templates数据库hj项目告知应用、连接数据库、引入static和templates时，在hj/hj/setting中的配置2、在static中放入相
2021-01-13 23:20:26
272
原创 python-创建school的简单django项目、完成school项目(index首页、add添加学生、dels删除学生、updates修改学生信息)、创建static存放各类文件
学习目标：python学习十九-django创建一个新的student项目学习内容：1、创建项目以及相关配置1、创建项目以及相关配置1、在cmd管理员界面中进入到存放项目的文件夹创建项目school2、在Navicat中创建数据库school3、在...
2021-01-04 00:51:57
619
原创 python(django(管理页面、概况、编写视图占位、编写一个真正的视图、抛出错误、视图使用模板系统、去除硬编码url、为url添加命名开空间、编写表单))
学习目标：Python学习十八-Django、学习内容：1、介绍 Django 管理页面2、1、介绍 Django 管理页面1、创建一个管理员账号在pycharm中的terminal输入下列指令：python manage.py createsuperuser(base) F:\pycharm\project\Django\yyt>python manage.py createsuperuserUsername (leave blank to use 'administra
2021-01-03 03:26:03
390
原创 python(python中的super函数、取整（int、round、ceil、modf)
学习目标：Python学习十七、学习内容：1、python中的super函数1、python中的super函数在python中，类里的__init__方法(函数)，在类实例化的时候会被自动执行在类的继承当中可能覆盖同名的方法，这样就不能调用父类的方法了，只能调用子类的构造方法1、super函数调用父类或者超类的方法(函数)super函数：调用同名父类方法super(super所在的类名，self).属性或者父类(超类)的方法(函数)：这是python2.x中的写法super(
2020-12-27 03:01:19
636
3
原创 redis数据库相关操作（redis数据库的搭建，redis数据库String、Hash、Set的相关操作，其他常用操作）
学习目标：redis数据库学习内容：redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作1、redis数据库的搭建2、redis数据库的增删改查1、redis数据库的搭建1、建立redis数据库环境：在cmd中输入
2020-12-26 01:08:58
591
原创 python（认识API，django的数据库操作增、删、改、查）
学习目标：Python学习十六、学习内容：1、认识API2、1、认识APIAPI会帮助进入交互式 Python 命令行manage.py 会设置 django_settings_module 环境变量，这个变量会让 Django 根据mysite/settings.py 文件来设置 Python 包的导入路径python manage.py shellfrom polls.models import Choice, QuestionQuestion.objects.all(
2020-12-23 02:08:20
444
原创 python（windows的django环境搭建、创建一个django项目、编写第一个视图、django的数据迁移）
学习目标：python学习十五、学习内容：1、配置windows的Django环境2、创建第一个Django项目3、1、配置windows的Django环境在windows的管理者窗口（cmd）输入：pip install django如果存在无法正常启动django或者django的指令都不能使用，请仔细检查一下环境变量窗口会的等待一会儿，然后会有下载django 的加载页面，如果本地已经有了django会显示当前django存在的位置，如下：查询django的版本号：py
2020-12-17 23:19:25
476
1
原创 python的常用内建模块与常用第三方模块
学习目标：Python学习十四、学习内容：一、常用内建模块1、datetime2、collections3、base64...二、常用第三方模块1、requsts
2020-12-13 00:17:35
435
原创 python环境的配置
学习目标：python学习一、学习内容：1、python环境的搭建anaconda和pycharm的安装2、pycharm通过xshell远程连接到虚拟机linux3、正则的基础认识1、python环境的搭建pycharm和anaconda的安装1、 安装pycharm，从网上下载pycharm，然后进行版本的激活
2020-12-09 16:54:34
195
2
原创 python进程与线程（多进程、多线程、ThreadLocal、进程VS线程、分布式进程）
学习目标：python学习十三、学习内容：1、多进程2、多线程3、threadlocal4、进程vs线程5、分布式进程
2020-12-08 17:04:15
144
原创 python IO编程（文件读写、StringIO和BytesIO、操作文件和目录、序列化）
学习目标：python学习十二、学习内容：1、文件读写2、StringIO和BytesIO3、操作文件和目录4、序列化1、文件读写读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）1、读文件Python内置的open()函数，传入文件名和标示符，读文件的模式打开一个文件对象调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表
2020-12-06 20:58:18
946
转载 python面向对象高级编程(使用__slots__、使用@property、多重继承、定制类、使用枚举类、使用元类)
学习目标：python学习十一、学习内容：1、使用__slots__2、使用@property3、多重继承4、定制类5、使用枚举类6、使用元类1、使用__slots__1、一个类的实例可以绑定任意的属性和方法创建一个类，以及它的实例为实例绑定属性和方法class Student(object): passdef set_age(self,age): self.age = ages = Student()s.name = 'Bob' #绑
2020-12-03 21:32:38
117
原创 python面向对象编程(类和实例、访问权限、继承和多态、获取对象信息、实例属性和类属性)
学习目标：python学习十、学习内容：1、类和实例2、访问权限1、类和实例类是抽象的模板，比如Student类，而实例是根据类创建出来的一个个具体的“对象”，每个对象都拥有相同的方法，但各自的数据可能不同1、创建类：class + 类名class+类名，如Student，类名通常是大写开头的单词，后面再跟()，()中表示该类是从哪个类继承下来的，如果没有合适的继承类，就使用object类，这是所有类最终都会继承的类class Student(object): pass
2020-12-02 22:35:01
249
1
原创 python模块、安装第三方模块
学习目标：Python学习十、学习内容：1、模块2、安装第三方模块1、模块由于大多数情况下代码的数量会非常多，为了方便管理和维护于是把代码分组放在不同的文件里，在python中这样的文件就叫做模块我们可以选择创建一个顶层的包来统一组织模块，当一个包里的模块就算与另一个包的模块名相同，只要顶层包的名字不一样就不会冲突，但是会和系统自带模块冲突例如：a包中的abc模块就叫a.abc，而b包中的abc模块就叫b.abcsys模块的应用引入模块import sys创建一个hell
2020-12-02 14:54:51
88
原创 Python函数式编程(返回函数、匿名函数、装饰器、偏函数)
学习目标：Python学习九、学习内容：1、返回函数2、匿名函数3、装饰器4、偏函数1、返回函数高阶函数除了可以接受函数作为参数外，还可以把函数作为结果值返回，当我们调用某一返回函数时，调用的不是结果而是函数实现一个可变参数的求和def lazy_sum(*args): def sum(): ax = 0 for n in args: ax = ax + n return ax return
2020-12-01 01:19:25
205
原创 python函数部分例题练习汇总（购物车、随机点名、九九乘法表...）
学习目标：python函数部分例题学习内容：1、简易购物车2、常见的格式化3、随机点名4、九九乘法表5、将字符串倒序并且用特殊字符隔开6、一句话实现计算器7、列表去重8、python生成器实现杨辉三角9、用filter高级函数找出一定范围内的素数10、查找一定范围内的回数1、简易购物车import randomimport copymoney = 300total_price = 0flag = 'ok'lists = []goods_lists = [['水果'
2020-11-27 23:32:51
426
原创 Python正式题型一
学习目标：Python例题学习内容：1、2020.11.26作业1 写出你知道的python所有数据类型与函数2 写出列表去重二种方法加一种不用set和循环的方法3 定义一个函数，这个函数可以求一堆参数的最大最小值，参数数量不一定4 已知列表a = [1,2,4,7,9] 列表b = [2,4,9,10,21]写个函数求出相同部分与不同部分5 [[1,2],[3,4],[5,6]] 一行代码展开该列表，得出 [1,2,3,4,5,6]6&
2020-11-27 11:40:23
282
原创 python高级特性（分片、迭代、列表生成式、生成器、迭代器）
学习目标：Python学习七、python高级特性学习内容：1、分片2、迭代3、列表生成式1、分片取一个list或tuple的部分元素用循环取一部分L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']r = []n = 3for i in range(3): r.append(L[i])print(r)输出：['Michael', 'Sarah', 'Tracy']1、用循环就比较繁琐了，现在用分片来实现取列表
2020-11-26 23:57:29
261
原创 python函数（调用函数、函数的定义、函数的参数、递归函数）
学习目标：Python学习六、学习内容：1、调用函数2、函数的定义3、函数的参数1、调用函数Python内置了很多有用的函数，我们可以直接调用，要调用一个函数，需要知道函数的名称和参数函数名其实就是指向一个函数对象的引用，完全可以把函数名赋给一个变量，相当于给这个函数起了一个“别名” a = abs print(a(-1)) 结果： 12、函数的定义Python中，定义一个函数要使用def语句，依次写出函数名、括号、括号中的参数和冒号:，在缩进块中编写函数体，函数的返
2020-11-25 23:20:00
672
原创 python(条件判断、input语句、循环、dict和set、不可变现象)
学习目标：Python学习五、学习内容：1、条件判断2、input语句使用3、循环4、使用dict和set1、条件判断语句if1、if语句判断是True，就把缩进的两行print语句执行，否则啥也不执行age = 80if age > 18: print('your age is',age) print('take care of youself')输出：your age is 80take care of youself2、if判断是False，不执行
2020-11-22 02:10:29
315
原创 python（字符串及其函数、列表list及其函数、tuple、实例---随机点名）
学习目标：Python学习四、学习内容：1、字符串及其函数2、列表及其函数1、字符串及其函数字符串：它是一个有序的字符的集合，用于存储和表示基本的文本信息，‘’或“”或‘’‘ ’‘’中间包含的内容称之为字符串字符串特性：范围内只能放一个值、不可变、从左到右并且从脚标[0]开始读取1、字母处理：.upper()：全部大写.lower()：全部小写.swapcase()：大小写互换.capitalize()：首字母大写，其余小写.title()：首字母大写zifu='
2020-11-19 17:19:03
417
空空如也
crawlab在节点详情点击安装依赖，点击搜索无反应
2021-08-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人