![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 78
Nicholas_K
主攻python 复学天文地理,别人笑我太疯癫,我笑他人看不穿。
展开
-
pip安装及pip安装慢的原因
pip安装及pip安装慢的原因。pip :python install package ,python三方包包管理工具。安装python解释器时已自带。目录已添加到环境变量中。包管理工具:包是别人写好的代码。经常有这种情况 ,比如爬虫框架功能的A包,里面引用了负责解析网页的B包,B包引用了更加基础底层的C包。包关系成树状引用。B包依赖C包。直接使用A包,运行报错缺少B包,缺少依赖包。为了解...原创 2018-10-25 20:24:26 · 641 阅读 · 0 评论 -
爬取安居客的信息,并保存到csv文件中。
这里说明下不要用xpath进行爬取,因为会被封。# 引入包import requestsfrom bs4 import BeautifulSoupimport timeimport csv# 定制请求头 换成自己的请求头headers = { 'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Ge...原创 2019-02-16 19:43:14 · 2101 阅读 · 3 评论 -
linux基础命令
初识启动终端。 切换[Ctrl]+[Alt]+[F1]~[F6]。简单体验$ touch file#进入一个目录,cd是一个命令$ cd /etc/#查看当前所在目录$ pwd快捷键Tab、ctrl+c、ctrl+z、ctrl+s、 ctrl+z、ctrl+a、e、alt+backspace方向键↑、man用户和权限root最高级 。比win中的adminis...原创 2019-01-22 21:11:22 · 149 阅读 · 0 评论 -
淘宝商品信息爬取,实现词云,并进行饼状图绘制及效果图
对应json文件地址:https://blog.csdn.net/nicholas_K/article/details/860945301. 获取了淘宝手机商品的评论和追评2. 对淘宝评论进行了词云3. 实现了淘宝手机商品版本的饼状图绘制import jsonimport timeimport pygalimport pymysql.cursorsfrom wordcloud im...原创 2019-01-08 20:05:59 · 1358 阅读 · 0 评论 -
淘宝的商品json文件, 保存电脑是用json后缀保存,文件名要跟代码引用文件名一样
{“rateDetail”: {“rateCount”: {“total”: 92261,“shop”: 0,“picNum”: 23495,“used”: 9203},“rateDanceInfo”: {“storeType”: 4,“currentMilles”: 1546763396839,“showChooseTopic”: false,“intervalMille...原创 2019-01-08 19:51:11 · 1755 阅读 · 1 评论 -
百度地图api接口
具体代码如下,可以自己更改搜索的内容。query 搜索内容region 地点ak密匙 百度地图可以获取import urllib.requestimport urllib.parseimport json# http://api.map.baidu.com/place/v2/search?query=ATM机&tag=银行&region=北京&output...原创 2018-12-27 15:24:40 · 1158 阅读 · 0 评论 -
爬取网易新闻头条部分信息
代码如下可以自己更改爬取的信息import requestsfrom lxml import etreeurl = 'https://news.163.com'resp = requests.get(url)if resp.status_code != 200: raise Exception("请求失败")html_content = resp.textpattern...原创 2018-12-27 12:01:17 · 315 阅读 · 0 评论 -
Python爬取天堂网图片
运行代码后 看到生成了一个文件夹,储存的有照片# coding=utf-8# 上节代码追加需求:同一图集图片放入同一文件夹下。import requestsfrom lxml import etreeimport os# 风景分类下# url_list = []# for i in range(2, 71):# url = f'http://www.ivsky.com/...原创 2018-12-27 11:57:23 · 10897 阅读 · 0 评论 -
Python实现京东登录,类封装
# 引入包import timeimport requestsfrom bs4 import BeautifulSoupclass JD_crawl: def __init__(self, username, password): self.headers = { 'User-Agent': 'Mozilla/5....原创 2018-12-27 11:49:42 · 716 阅读 · 0 评论 -
MongoDB配置及解答mongodb cmd中安装及连接数据库 mongodb无法安装及连接数据库解答
mongodb介绍mongodb是一个流行的nosql数据库,not only sql,介于非关系型和关系型数据库之间。比sqlite重,比mysql轻。入门单独低但教程较少,个人程序员和创业公司用的多点。优点:读性能高。数据存储在内存中,通过一定策略定期持久化到硬盘。在内存中操作,读操作性能高。存储结构简单。键值对、字典结构直接存。开发效率高。可扩展性强,灵活缺点:内存开销昂...原创 2018-11-28 21:44:52 · 773 阅读 · 0 评论 -
python学生管理系统连接数据库版,很详细,这个是用函数版的增删改查,拿去用,不谢。
# coding: utf-8import sqlite3# 导入数据库def connect_sql(): connect = sqlite3.connect("test_sqlite.db") cursor = connect.cursor() cursor.execute(""" CREATE TABLE studentsab51( id IN...原创 2018-11-15 22:23:04 · 1626 阅读 · 0 评论 -
数据库介绍常用数据库,SQL增删改查
引题为什么使用数据库:之前的学习中我们已经可以储存数据、变量、读写本地文件(txt、csv)1.持久化。内存中的变量当程序重启和电脑断电时丢失数据,而硬盘可以长时间、持久的储存数据。数据储存到硬盘上的过程叫持久化。2.数据库更加专业强大。远比纯文本文档、excel表格强大,增删改查和统计函数。数据库基本概念观察表格、excel表格,打开了 学生列表.xls excel表格文档。类比引...原创 2018-11-09 14:54:36 · 370 阅读 · 0 评论 -
python列表的方法详解
列表引题原来学过数据类型如 a=1 b=‘hello’ ,但是这些都变量。现实生活中我们想表达 一个班的几十个学生,一个袋子里多个水果。python当中提供了一个表达“一组”概念的数据结构,列表。语法列表形如 [1,2,3,4] ['小明', '小红', '小王']中括号括起来,里面有多个元素(项),项可以数字、字符串、布尔,每一项逗号分隔。创建声明变量时 中括号、项 ,创建一个...原创 2018-10-24 17:37:11 · 625 阅读 · 0 评论 -
python解释器安装,图文详解
Python 解释器安装— 安装pycharm般集成开发工具(IDE)integrate developer kit 是 集成多个功能的开发工具软件。轻量级的开发工具:sublime重型级开发工具:pycharm eclipse vscodepycharm优点: 集成各种工具 代码智能提示。下载pucharm1 下载 从python官网 https://www.pytho...原创 2018-10-24 11:52:40 · 520 阅读 · 0 评论 -
python 虚拟环境配置及pypi包使用及包怎么
python虚拟解释器环境。场景:公司不同时期的多个开发项目,使用的python大版本和各个包的版本不尽相同。每个项目要求有一套让自己成功运行的解释器。一个程序员可能同时开发多个项目。电脑上需要有多套python解释器跟项目一一对应。解决方案: 我们电脑上只有一套python解释器,已它为基础,虚拟出来几个解释器的备份。老的教材中先安装virtuaienv(虚拟environment环境)...原创 2018-10-26 15:07:02 · 386 阅读 · 0 评论 -
scrapy了解一下,安装图文教程。
scrapyscrapy是一个流行的爬虫框架。架构分层,适合复杂项目并易于扩展。封装异步包,实现并发请求和分布式部署。框架架构介绍引擎(scrapy engine)处理整个系统的数据流,触发事务。调度器(scheduler )接收引擎发过来的请求,压入队列,去重,决定下一次请求的url。下载器(downloader)根据url请求网页,下载网页原始内容,并将网页内容返回...原创 2019-02-16 20:07:36 · 253 阅读 · 0 评论