Travelerwz的博客

python词云图一、词云图什么是词云图，词云图又叫文字云，是对文本数据中出现频率较高的关键词予以视觉上的突出,形成"关键词的渲染"就类似云一样的彩色图片,从而过滤掉大量的文本信息,，使人一眼就可以领略文本数据的主要表达意思。二、开发环境windows7+pycharm需要python库：matplotlib：Matplotlib 是 Python 的一个绘图库使用教程：h...

python打包.exe文件相信大家也和我一样，在学习python的路上不可自拔，个人感觉python这门语言真的很神奇，很多的功能都只要import一个包就可以解决，面如了C/C++中的很多繁琐，好了，谈一下个人感受，进入正题吧！打包成.exe文件可用windows系统上执行，linux上自然不需要了，因为linux上敲一下命令就ok了，而且使用window的大多数是不会技术的，接下来看...

python之mongodb学习1.首先，先来介绍一下mongdb数据库MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似...

Scrapy 爬虫实战-爬取字幕库1.首先，创建Scrapy框架创建工程scrapy startproject zimuku创建爬虫程序cd zimukuscrapy genspider zimu zimuku.cn如图：我们会发现所有的框架以及模板都已经创建好了，依次给大家看看：zimu.py# -*- coding: utf-8 -*-import scrap...

爬取嗅事百科今天我们利用requests和bs4来爬取嗅事百科的内容。爬取步骤：分析网页结构利用request来获取网页内容利用bs4来筛选网页内容打印或者保存网页内容接下来，我们一步一步来完成这些事1.分析网页结构由此可知，段子里面的容都是存储在这个标签下的标签中，所以我们可以利用bs4来进行删选。2.利用request来获取网页内容#模拟浏览器header...

requests+BeautifulSoup爬取网页内容系列<一>最近一直抽时间在看requests+BeautifulSoup爬取网页内容这一块的内容，所以，打算把自己看的总结一下，分享也是一种学医，给自己做做笔记。1.首先，我们看一下requests库requests库主要用于访问网页，这个网上资源比较多，所以我就不多说了，我这直间给出一个连接，大家可以看看。快速上手req...

Scrapy入门及第一个程序标签：Scrapy ；第一个Scrapy项目 一、认识ScrapyScrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。二、爬虫编写步骤1.新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目 2...

这个安装教程比较实用······· 首先考虑使用最简单的方法安装[plain] view plain copy pip install scrapy 命令安装，提示 Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required…于是开始问度娘应该怎样安装，看了几篇博客，虽然和我的问题不十分相同，但...

Python爬虫之gif图片抓取标签：图片爬虫 这几天，对于怎么去爬取图片很感兴趣，就研究了一下，图片爬虫可以说是有简单，更有复杂的，今天，我做了一个比较简单的gif的图片爬虫，仅仅学习一下怎么进行爬取，学习一下思路，到后面在进行难一些的图片爬虫： 不多说了。。。现在开始做： 1.我找了一下gif的网址http://qq.yh31.com/ql/ls/ 2.打开网页源代码 3...

python的基础学完，可以开始接触一下相关的项目的，虽然对一些库还不熟悉，但是我相信多练习，慢慢就会好起来的今天看到网上的内涵段子，自己也就试试去做一个爬一下内涵段子的内容准备工作：谷歌/火狐 pycharm步骤： 1.访问内涵段子! 这是一个动态加载的网站2.抓包工具：抓包工具是拦截查看网络数据包内容的软件。最常见的抓包工具：http://www.mottoin.com/97314.html&...

链接爬虫实战

正则表达式

URLError

DebugLog

Python 爬虫入门<四>标签：代理服务器

HTTP协议请求实战

模拟浏览器

爬虫入门