- 博客(31)
- 收藏
- 关注
RSS订阅转载 关于子类访问父类的类变量问题
关于子类访问父类的类变量问题Python作为一门弱类型语言，创建变量时不用像C语言那样事先声明（如：int xxx/char xxx），只要是=符号左边的变量Python找不到，它就会自己去创建。源此有题如下：classA(object):x=1classB(A):passclassC(A):passB.x=2A.x=3p...
2018-09-20 16:05:00
768
转载 pip install browsercookie报错问题
目录 pip install browsercookie报错问题 背景 第一次尝试 说明 第二次尝试 第三次尝试 第四次尝试 总结 pip install b...
2018-08-19 17:19:00
416
转载 logging模块
logging模块@(杂庭忆技)[Python, logging]logging模块简单示例日志等级简单设置HandlerFileHandler其他Handler捕获Traceback配置共享文件配置018.8.17简单示例import logging logg...
2018-08-18 10:55:00
229
转载 下载的网页浏览器打开一直跳转问题
今天爬知乎的时候把整个html写进本地文件，拟先用浏览器打开，观察爬虫请求到的网页大致什么样子，再做解析页面的策略但浏览器打开.html文件后页面一直跳转，如下 解决方案： 用文本编辑器打开html文件，按Ctrl+H，将全文的js替换成空格或者其他即可 再打开就正常了 转载于:https://www.cn...
2018-08-14 13:23:00
442
转载 知乎登陆
知乎登陆@(博客)[Python, 登陆, 知乎, 爬虫]知乎登陆背景题外话环境寻找切入点问题的转移1问题的转移2继续撸开始代码完善代码018.8.12背景因为学年综合实践准备的一部分需要爬取知乎全站，所以为了方便，自动登陆是很有必要的。而由于许多学习爬虫的各友，都爱拿知乎练手——其实我倒非然，这...
2018-08-13 10:46:00
220
转载 使用scrapy框架报错：Spider must return xxxx
完整报错如下：ERROR: Spider must return Request, BaseItem, dict or None, got 'ArticleItemLoader' in <GET http:xxx>通过设置断点排查，发现是我在spiders目录下的爬虫文件，在yield的时候，写错了变量，以至于类型出了问题，所以报了这...
2018-08-11 08:49:00
880
转载 Python下载会员歌曲
Python下载会员歌曲@(博客)[QQ|会员音乐|下载]Python下载会员歌曲前言目标使用库分析（1）文件A（2）文件B（3）文件C（4）文件D（5）注意事项最后018.8.81. 由于本人是法盲，所以是否涉及侵权QQ音乐不知；如若侵权，相告即删 2. 相关代码仅作参考学习，不用于商业目的...
2018-08-08 15:27:00
221
转载 利用Scrapy框架下载图片报400状态码
问题：利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中内置有图片下载功能，所以没有另外写，直接使用。在settings.py中做了如下修改：ITEM_PIPELINES = { 'Article.pipelines.ArticlePipeline': 300, "scrapy.pipelines.ima...
2018-08-06 16:57:00
323
转载 初谈指针（2）
初谈指针（2）初谈指针（2）前言指针与二维数组指针函数函数指针指针数组数组指针指针常量常量指针字符指针数组和二维字符数组连连看前言上一篇（初探指针（1））从指针的概念开始入手，依次是：什么是指针>>指针传递>>多级指针>>指针函数。尽管指针远不于此，但寻常应付想来足够...
2018-07-30 20:14:00
91
转载 Python爬虫-Redis
Python爬虫-RedisPython爬虫-Redis前言启动服务器启动客户端数据操作string键命令hashlistsetzset发布订阅主从配置与python交互利用redis实战反思前言作为跟MongoDB同样NoSQL阵营的Redis，也具有类似的“直爽快”特性。它本身读取速度快，...
2018-07-22 07:52:00
102
转载 马克飞象自定义渲染CSS配置
常用的笔记软件是印象笔记，而对接印象笔记最好的应该是马克飞象。我又是一个超级外貌协会，对自带的CSS渲染不很满意。网上相关的也少，于是到处东拼西凑，加上自己的修改，对代码块的配色满意多了。上图为证：C语言的 Python的 在此分享给大家.hljs { color: #a9b7c6; background: #282b2e...
2018-07-18 18:10:00
328
转载 初谈指针（1）
初谈指针（1）初谈指针（1）前言什么是指针指针传递多级指针指针函数一个不一样的收尾前言每一门语言都有其特性，说到C，就一定绕不过指针。 指针“随意”“奔放”，穿梭在内存地址之间，用得好就恣意潇洒。然而相伴的危害也大，使许多程序员“成也指针，败也指针”。要想熟练掌握指针，其难度系数不可谓之小。所以高校老师不爱讲，连给...
2018-07-16 20:27:00
66
转载 linux共享文件夹问题
linux共享文件夹问题@(配置问题)[VMware|ubuntu|linux]linux共享文件夹问题1. 初配置2. 挂载018.7.8为了实现win7与VMware中linux文件夹共享很花费了一些时间，但终成正果1. 初配置虚拟机设置->选项->共享文件夹 开启总是启用以及设置共享的文件夹 ...
2018-07-08 07:55:00
884
转载 Python爬虫-MongoDB
Python爬虫-MongoDBPython爬虫-MongoDB前言与MySQL对比启动/关闭MongoDB操作数据库操作集合操作数据操作增删改查保存运算符高级操作聚合常用管道常用表达式安全性与python交互前言如果仅考虑自己爬虫自己使用，我是推崇MongoDB的——暴力...
2018-07-06 12:47:00
108
转载 女友上线记
女友上线记女友上线记【1】【2】【3】【4】工具“女友”qqbot库结合qqbot与图灵机器人【1】不知道你有没有过这样一个场景：不是寂寞，是无力。 在这一天里，手机能传来许多消息，是推送来的新闻，或者聊天组的碎语。世界很嘈杂，可世界仿佛与你无关。【2】朋友圈里，许多人上演分分合合。才不久说要...
2018-06-29 14:08:00
91
转载 JQuery报错：Uncaught TypeError
这几天在入门JQuery，学到Jsonp的知识点，想简单调用一下百度搜索的关键字联想接口，但一直报错： Uncaught TypeError: Cannot read property 'sug' of undefined at... 代码如下：<script type="text/javascript", src="js/jquery...
2018-06-28 09:52:00
275
转载 Python爬虫-MySQL
Python爬虫-MySQLPython爬虫-MySQL前言三范式常用字段类型约束SQL语句命令行登陆操作用户操作数据库操作表操作数据操作事务与Python交互QQ音乐之体面在最后前言在请求数据、提取数据后，我们还需要做什么呢？答案无疑是：存储数据。这之前，我们每一次都将数据保存在文本txt格式...
2018-06-27 15:28:00
95
转载 二进制记得
二进制记得二进制记得【1】【2】【3】目标工具思路注意事项最后【1】你知不知道，那些交错在互联网上的数据，都以0或1的样貌，真实存在这世界的某个角落。【2】小思跟我说她喜欢一个男生十年了。“啊？”，我一个没稳住，五花肉抱着重力加速度就往下坠。 “其实不确定啦……”，小思突然笑起来，但空气里完全感...
2018-06-25 22:14:00
80
转载 Python爬虫-PyQuery
Python爬虫-PyQueryPython爬虫-PyQuery一些看法使用语法初始化选择标签遍历对标签操作伪类选择器*eq()的使用代码一些看法关于数据提取的四个主流方法就回顾完了，当然不用也不必全会。我个人认为正则是一定要OK的，其余三个拣一个上手即可。剩下部分，总得达到“开书了然”的境界吧。毕...
2018-06-20 13:13:00
170
转载 自动化发送邮件
自动化发送邮件自动化发送邮件背景SMTP了解一下邮件系统实现过程1.连接建立2.邮件传输3.连接释放4.注意项目信息格式MIME新增关键字multipart自动发邮件构建过程封装代码必要的设置背景室友选修的《机器学习》，结课作业是对8万+的数据进行分析。他向我抱怨，说这么多数据至少得运...
2018-06-18 14:17:00
630
转载 Python爬虫-正则
Python爬虫-正则Python爬虫-正则前言使用语法表示字符表示个数表示边界区配分组re的高级用法贪婪与非贪婪注意项前言想说正则的知识点并不多，需要思考地方却不少。python里提取数据的方式很多，但私以为掌握那些中的某一个的同时，一定要兼顾正则。主观推崇原因有二，一：re是python的基本库...
2018-06-16 10:45:00
171
转载 Python爬虫-BeautifulSoup
Python爬虫-BeautifulSoupPython爬虫-BeautifulSoup“美丽汤”的爱恨使用爱丽丝文档示例标签遍历find(),findAll()综合使用支持正则CSS选择器“美丽汤”的爱恨前边说偏爱xpath，在于操作简单，解析速度较快。但不可否认：BeautifulSoup比xpath...
2018-06-13 22:37:00
86
转载 Python爬虫-xpath
Python爬虫-xpathPython爬虫-xpath说明再说明插件推荐语法讲述举栗子代码里使用实战句子迷需要的总结：说明关于Python爬虫请求数据方面的知识点基本讲完，但请求到数据之后呢？ 当然是提取数据，抓出对我们有价值的内容是整个爬虫流程的关键步骤之一。现下流行方法有：xapth，Beautiful...
2018-06-08 22:52:00
700
转载 Python爬虫-requests
python爬虫-requestspython爬虫-requests说明基于python3实现主要方法：异常：参数session对象说明无疑，py3上也可以使用urllib2库，但入门时走的py2路线，所以坚持了这一贯的曲风。而这之后会刻意转py3，requests库的使用就成了重中之重。可实在没什么好讲述的，有...
2018-05-30 18:01:00
202
转载 Python爬虫-urllib2（2）
Python爬虫-urllib2（2）@(博客)[python, 爬虫, urllib2, Python, 代理]Python爬虫-urllib2（2）post请求方式设置代理web客户端授权验证处理需要登陆账号的爬虫（Cookie）a.直接cookie法实现豆瓣的登录b.cookielib之CookieJar实现人人网旧入口登录...
2018-05-21 09:30:00
177
转载 Python爬虫-urllib2（1）
Python爬虫-urllib2（1）@(博客)[python, 爬虫, urllib2, Python]Python爬虫-urllib2（1）理解响应报头和请求报头需要的库什么是url编码如何发送一个请求构建一个请求报头构建发送方式实现一个简单的、完整的爬虫小程序一个小技巧018.5.18理解响应报头和请...
2018-05-19 07:49:00
80
转载 Python爬虫系列
Python爬虫系列@(博客)[Python, 爬虫]背景由于近来学（lan）业（ai）繁（fa）忙（zuo），快一个月没有更新博客了。这周完成了两门课的结课考试，现下时间开始变得充裕。准备梳理一下前段时间学习的关于Python爬虫的内容，权当复习巩固知识。而初次学习时遇到的疑难杂症，那时候的应对策略是抓大放下，在这梳理过程会下定决心一一...
2018-05-19 07:37:00
81
转载 MySQL远程连接问题
MySQL远程连接问题MySQL远程连接问题mysql 方面问题linux连接方面远程连接命令：说明：018.4.19mysql 方面问题 查看该路径下文件mysql的配置，（不一定就是这个文件，但应该是在/etc/mysql里，挨个找），注释掉bind-address = 127.0.0.1 ，即：...
2018-04-19 10:50:00
46
转载 Python实现阿里云服务器里的文件上传与下载
Python实现阿里云服务器里的文件上传与下载Python实现阿里云服务器里的文件上传与下载背景：正文：预备环境：构想：实现：注意：结尾018.4.15背景：老实说，因为现实的各种原因造成电脑换来换去是可能出现的事情，但是电脑能换，电脑里的环境却不能换。我就曾在三个电脑里各自安装了虚拟机，这样一来，所有...
2018-04-16 20:20:00
524
转载 Python实现爬取贴吧图片
导读： 最近周边朋友学python的越来越多，毫无意外的是，大家都选择了爬虫入门。这不难理解。Python有丰富的库使用，使得爬虫的实现容易很多，学习之后，回报明显，容易获得成就感。总结起来就是：让人有继续学下去的欲望。我偏巧例外，先走了Python web。虽然起了个大早，赶了个晚集，但不妨趁清明假期，计划之外，时间有余，做一回“愿闻其详”...
2018-04-07 20:10:00
456
转载 Python实现常用排序
导读：有人说数据结构与算法是一个程序员的内功，管你招式如何恣意潇洒，若不能伤敌就一无是处。在《射雕英雄传》里，郭靖后来大有所作为，恐怕跟马钰偷授全真教心法存在莫大相关。而后续《神雕侠侣》中，杨过固然风采出众，“赢得青楼薄幸名”，更兼“一遇杨过误终身”的bug级别的buff。然而他与小龙女情路坎坷，后又断肠崖离别16年之久，片面解释起来：功夫不到家罢了。倘...
2018-03-22 18:24:00
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人