Python
后台服务器开发
这个作者很懒,什么都没留下…
展开
-
Python爬虫之gif图片抓取
Python爬虫之gif图片抓取标签:图片爬虫 这几天,对于怎么去爬取图片很感兴趣,就研究了一下,图片爬虫可以说是有简单,更有复杂的,今天,我做了一个比较简单的gif的图片爬虫,仅仅学习一下怎么进行爬取,学习一下思路,到后面在进行难一些的图片爬虫: 不多说了。。。现在开始做: 1.我找了一下gif的网址http://qq.yh31.com/ql/ls/ 2.打开网页源代码 3...原创 2018-04-14 15:04:01 · 7936 阅读 · 4 评论 -
python爬虫入门<七>--正则表达式
正则表达式原创 2018-04-02 20:09:04 · 323 阅读 · 0 评论 -
Python爬虫入门<八>—链接爬虫实战
链接爬虫实战原创 2018-04-05 10:56:44 · 649 阅读 · 0 评论 -
一步一步安装scrapy框架
这个安装教程比较实用······· 首先考虑使用最简单的方法安装[plain] view plain copy pip install scrapy 命令安装,提示 Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required…于是开始问度娘应该怎样安装,看了几篇博客,虽然和我的问题不十分相同,但...转载 2018-04-19 10:59:41 · 533 阅读 · 0 评论 -
Scrapy入门及第一个程序
Scrapy入门及第一个程序标签:Scrapy ;第一个Scrapy项目 一、认识ScrapyScrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。二、爬虫编写步骤1.新建项目 (scrapy startproject xxx):新建一个新的爬虫项目 2...原创 2018-04-29 09:04:59 · 793 阅读 · 1 评论 -
requests与BeautifulSoup爬取嗅事百科
爬取嗅事百科今天我们利用requests和bs4来爬取嗅事百科的内容。爬取步骤:分析网页结构利用request来获取网页内容利用bs4来筛选网页内容打印或者保存网页内容接下来,我们一步一步来完成这些事1.分析网页结构由此可知,段子里面的容都是存储在这个标签下的标签中,所以我们可以利用bs4来进行删选。2.利用request来获取网页内容#模拟浏览器header...原创 2018-10-28 21:33:49 · 309 阅读 · 0 评论 -
requests与BeautifulSoup爬取网页图片
requests+BeautifulSoup爬取网页内容系列&amp;amp;lt;一&amp;amp;gt;最近一直抽时间在看requests+BeautifulSoup爬取网页内容这一块的内容,所以,打算把自己看的总结一下,分享也是一种学医,给自己做做笔记。1.首先,我们看一下requests库requests库主要用于访问网页,这个网上资源比较多,所以我就不多说了,我这直间给出一个连接,大家可以看看。快速上手req...原创 2018-10-26 08:14:39 · 1723 阅读 · 0 评论 -
Scrapy 爬虫实战-爬取字幕库
Scrapy 爬虫实战-爬取字幕库1.首先,创建Scrapy框架创建工程scrapy startproject zimuku创建爬虫程序cd zimukuscrapy genspider zimu zimuku.cn如图:我们会发现所有的框架以及模板都已经创建好了,依次给大家看看:zimu.py# -*- coding: utf-8 -*-import scrap...原创 2018-11-10 10:29:49 · 2843 阅读 · 2 评论 -
python之mongodb学习
python之mongodb学习1.首先,先来介绍一下mongdb数据库MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档,数据结构由键值(key=&gt;value)对组成。MongoDB 文档类似...原创 2018-11-13 07:22:38 · 287 阅读 · 0 评论 -
python selenium 自动登录百度贴吧
python selenium 自动登录百度贴吧这几天抽时间在看selenium这个模块,其实很人性化的,里面有了很多方法可以供大家使用,基础部分我就不一一介绍了,大家可以参照这篇博客,还是很不错的。Selenium基础开始我们的自动登录补贴的过程。1.引入selenium模块,利用get方法请求#引入selenium模块from selenium import webdrive...原创 2018-11-06 07:36:23 · 1045 阅读 · 1 评论 -
python爬虫之笔趣文学
python爬虫之笔趣文学我们来一起爬爬笔趣文学这个网站,仅仅作为学习来使用1.获取URL和解析页面随便找一篇文章:元尊url:https://www.biqukan.com/0_790/好了,知道这个页面结构,我们就可以进行解析了:# -*- coding:UTF-8 -*-from bs4 import BeautifulSoupimport requests,sys#...原创 2018-11-15 07:54:56 · 476 阅读 · 0 评论 -
python打包.exe文件
python打包.exe文件相信大家也和我一样,在学习python的路上不可自拔,个人感觉python这门语言真的很神奇,很多的功能都只要import一个包就可以解决,面如了C/C++中的很多繁琐,好了,谈一下个人感受,进入正题吧!打包成.exe文件可用windows系统上执行,linux上自然不需要了,因为linux上敲一下命令就ok了,而且使用window的大多数是不会技术的,接下来看...原创 2018-11-24 08:02:18 · 1095 阅读 · 0 评论 -
python词云图
python词云图一、词云图什么是词云图,词云图又叫文字云,是对文本数据中出现频率较高的关键词予以视觉上的突出,形成"关键词的渲染"就类似云一样的彩色图片,从而过滤掉大量的文本信息,,使人一眼就可以领略文本数据的主要表达意思。二、开发环境windows7+pycharm需要python库:matplotlib:Matplotlib 是 Python 的一个绘图库使用教程:h...原创 2018-11-25 20:25:29 · 4025 阅读 · 1 评论 -
python爬虫入门<三>—HTTP协议请求实战分析
HTTP协议请求实战原创 2018-03-31 17:48:12 · 583 阅读 · 0 评论 -
Python爬虫入门<二>—模拟浏览器
模拟浏览器原创 2018-03-31 17:45:12 · 974 阅读 · 0 评论 -
input与raw_input
input与raw_input最新学习python,遇到这个输入问题,做一个笔记首先,我回顾一下在C/C++中,我们使用输入输出的方法 C:我们用的是scanf()来进行输入,scanf()函数是通用终端格式化输入函数,它从标准输入设备(键盘) 读取输入的信息。可以读入任何固有类型的数据并自动把数值变换成适当的机内格式。 其调用格式为: scanf(“<格式化字符串>”,<地址表>);原创 2017-12-19 17:44:16 · 2271 阅读 · 0 评论 -
分片 迭代
切片概念:也就是我们经常遇到的截取字符串操作,也就是截取函数 由这个,我们其实不难想到,在C/C++中,我们经常采用for循环或者说是其他循环的方法来进行对数据的访问,当然,C++中STL中split()也可以实现分片,那么,python中的分片是怎么分的呢?在此,我做一个简单的笔记: 首先,在没有使用python分片技术时,我们取元素的方法: L = [‘zhangsan’,’lisi’,’w原创 2017-12-22 13:54:57 · 428 阅读 · 0 评论 -
生成器
生成器通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边转载 2017-12-23 10:33:17 · 386 阅读 · 0 评论 -
列表生成式
列表生成式列表生成式,是Python内置的一种极其强大的生成list的表达式。 如果要生成一个list [1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9] 可以用 range(1 , 10): [python] view plain copy range(1, 9) [1, 2, 3, 4, 5, 6, 7, 8]转载 2017-12-23 10:31:55 · 709 阅读 · 0 评论 -
Python中列表生成式和生成器的区别
Python中列表生成式和生成器的区别列表生成式:http://blog.csdn.net/travelerwz/article/details/78878559 生成器:http://blog.csdn.net/travelerwz/article/details/78878572 学习到这,就想比较一下他们的区别: 1.从内存来看: 列表生成式:受到内从限制,列表的容量是有限的,如果数量原创 2017-12-23 12:05:54 · 1746 阅读 · 0 评论 -
python迭代器和生成器 区别
python迭代器和生成器 区别1.迭代器就是对象提供了next方法,他只有两种方法:一是返回迭代下一项,二就是抛出异常,终指迭代 2.生成器自动实现了迭代器的协议,使用yield语句而不是我们经常使用的return,yield每次返回一个结果,每个结果中间函数处于挂起状态原创 2017-12-23 14:34:27 · 562 阅读 · 0 评论 -
爬虫———内涵段子
python的基础学完,可以开始接触一下相关的项目的,虽然对一些库还不熟悉,但是我相信多练习,慢慢就会好起来的今天看到网上的内涵段子,自己也就试试去做一个爬一下内涵段子的内容准备工作:谷歌/火狐 pycharm步骤: 1.访问内涵段子! 这是一个动态加载的网站2.抓包工具:抓包工具是拦截查看网络数据包内容的软件。最常见的抓包工具:http://www.mottoin.com/97314.html&...原创 2018-03-15 23:05:39 · 586 阅读 · 0 评论 -
Python爬虫入门<五>—DebugLog
DebugLog原创 2018-04-01 19:49:05 · 2309 阅读 · 1 评论 -
python爬虫入门六--URLError
URLError原创 2018-04-01 19:46:45 · 463 阅读 · 0 评论 -
Python 爬虫入门<四>——代理服务器
Python 爬虫入门<四>标签:代理服务器原创 2018-04-01 14:49:53 · 3800 阅读 · 0 评论 -
Python爬虫入门<一>简单爬虫
爬虫入门原创 2018-03-31 17:18:42 · 535 阅读 · 1 评论 -
python调用C++
python调用C/C++程序1.可行性python的底层大部分都是C/C++实现,python和C和C++具有天然的互相调用优势;很多核心的算法库都是C/C++写的,在python开发过程中,经常访问别人的动态库;所以,用python调用C/C++程序是可行的。2.python访问C/C++的方式ctypespybind11cffiswig我们一般使用的是ctypes...原创 2019-08-11 14:32:13 · 674 阅读 · 0 评论