- 博客(21)
- 收藏
- 关注
RSS订阅转载 Docker下的ubuntu （阿里云服务器）安装python3.6 及pip3
直接安装 apt-get install python3.6 ，失败root@91d2d47e8aee:/# apt-get install python3.6 Reading package lists... DoneBuilding dependency tree Reading state information... DoneE:...
2018-12-07 14:34:25
1696
原创 redis环境配置
1,Redis下载地址：https://github.com/MSOpenTech/redis/releases2.根据自己实际情况选择，下载到的Redis支持32bit和64bit，将下载文件拷贝到自定义盘符，解压后将目录取名redis， 如 C:\reids，我的是放在了C盘下3.存放完毕后，打开Redis文件夹，“shift+鼠标右键”打开命令窗口，然后按下图步骤操作：4.开...
2018-09-29 21:51:44
732
原创 基于scrapy_redis部署scrapy分布式爬虫
1.下载工具包 scrapy_redis（如果使用的是虚拟环境，先进入虚拟环境再下载，后面皆是如此）2.配置项目的settings文件，配置scrapy项目使用的调度器以及过滤器如果你想在redis中存储一份，可进行以下操作：（也可以跳过此步）3.修改spider爬虫文件，继承RedisSpider类。4.如果连接的有远程服务，比如mysql,redis等，需要将远...
2018-09-27 19:58:01
196
原创 将scrapy 中的item对象转换成json数据
# 在项目下的pipeline创建一个类：class JsonWritePipeline(object): def __init__(self): # 做写入数据的准备 self.file = codecs.open('article.json', 'w+', encoding='utf-8') # 先写入一个[ sel...
2018-09-07 18:02:00
2778
1
原创 scrapy数据库写入（可用于多个类型的item对象或单个item对象）
# 在项目目录下的items中定义类型，并插入数据，目的在于不用判断不同的item对象，传递过来的item是什么类型，就可以执行对应类型中save函数# 一级页面图片数据信息class ImgItem(scrapy.Item): #获取的图片链接 src = scrapy.Field() url = scrapy.Field() title = scrap...
2018-09-07 17:45:57
2855
原创 数据库，excel表格存储工具
# 数据库，excel表格存储工具import sqlite3import xlwt# 数据库存储class Save_sql(object): # 引入类属性： # 1，数据库名称 dbname = '' # 2, 表名 table_name = '' # 3, 字段名（将其暂且存放入一个列表中） name_list = []...
2018-08-16 17:34:55
242
原创 招聘网站信息爬取
import requestsimport jsonimport sqlite3import xlwtfrom urllib import parseclass Zl_zp(object): def __init__(self): # self.url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pa...
2018-08-16 14:17:18
1082
原创 博客推送文章爬取
import requestsimport jsonimport sqlite3from bs4 import BeautifulSoupclass Csdn(object): def __init__(self): self.url = 'https://blog.csdn.net/' self.headers = {'User-Agent'...
2018-08-16 14:13:42
649
原创 列表概念以及用法包括易错点总结
#列表概念以及用法包括易错点总结#列表：容器类 有序且可存放任意类数据，属于可迭代对象 第一个索引值为0依次类推同时可根据索引进行元素的增删改查以及切片list1=[1,2,3,4,‘小明’,‘abc']#向列表list1中增加元素：list2=list1.append('小黄')print(list2)输出结果：[1,2,3,4,‘小明’,‘abc','小黄']#注意：列表元...
2018-08-04 10:50:42
247
原创 几何计算器（类的继承，模块，函数的调用）
#计算圆形，扇形，正方形，长方形，三角形的面积和周长#模块一：定义图形类class Shape(): def __init__(self): self.name='' self.perimeter=0.0 self.area=0.0 def show_name(self): pass def coll...
2018-07-18 21:49:21
485
原创 商店交互系统(类和对象)
class goods(object): ''' 定义商品类，用于存储商品数据信息 ''' def __init__(self,name,price,number,count1=0): ''' :param name: 商品名称 :param price: 商品价格 :param number: 商品...
2018-07-17 15:47:03
271
原创 手机销售系统（类和对象）
class Phone(object): ''' 创建一个手机类，用于存储手机数据信息 ''' def __init__(self,name,price,number): ''' :param name: 手机品牌 :param price: 手机价位 :param number: 手机库存 ...
2018-07-16 14:35:05
519
原创 查看百度中文金曲榜歌曲
import requestsdef query_music(): url='http://kbangserver.kuwo.cn/ksong.s?from=pc&fmt=json&type=bang&data=content&id=2&pn=0&rn=200&isbang=1&show_copyright_off=0&am...
2018-07-11 21:54:29
537
原创 查询手机号码归属地
import requestswhile True: phone=int(input('请输入您要查询的手机号码：')) url='http://apis.juhe.cn/mobile/get?phone=%d&key=89baea64806cf2020fed945e44a65dd2'%phone response=requests.get(url) re...
2018-07-11 21:52:29
1084
原创 天气查询工具
''''''import requestswhile True: cityname=input('请输入你要查询天气城市的名字：') url='http://api.map.baidu.com/telematics/v3/weather?location=%s&output=json&ak=TueGDhCvwI6fOrQnLM0qmXxY9N0OkOiQ&...
2018-07-11 21:50:15
214
原创 用字典统计随机数出现次数
# -*- coding: utf-8 -*-__author__ = 'wj'__date__ = '2018/7/10 10:35'import random# 随机产生100个整数(0~100),放入一个列表中，统计出现次数最多的数字。# 1.存放随机数列表num_list = []# 2.循环100次for x in range(0, 100): # 3.生成随机数 num =...
2018-07-10 15:26:43
2128
原创 学员管理系统3.0版本（列表嵌套字典）
'''学员管理系统3.0版本1.添加学员 1.1 输入要添加的学员 1.2 将含有学员信息的字典添加到列表中2.修改学员 2.1 输出所有的学员及学员索引(从1开始输出) 2.2 选择要修改的学员索引，判断索引是否在范围 2.3 输入要修改的值，根据选择的索引进行修改3.删除学员 3.1 根据序号删除学员 3.1.1 输出所有的...
2018-07-10 15:22:09
240
原创 字典的增删改查
#字典，容器类，可以用来存放数据，是以key：value的形式进行存储的，并且key在字典中具有唯一性，字典中存储的数据是无序的，字典中的增删改查操作都可以通过key完成过key完成。#key必须是不可变类型的，字符串，数字，元组都是不可变的，推荐使用字符串dict1={'name':'张三','age':20,'phone':123}#1,字典中添加数据，如果字典中没有这个key，就...
2018-07-09 17:38:00
1083
原创 数据的读取与写入（包括列表的分割，返回，聚合）
# 打开文件file_handle = open('students.txt', 'w')# 1.循环遍历大列表中的每一个学员完整信息列表for stu in students: # 循环遍历小列表中每一个信息，姓名、年龄、电话 for item in stu: file_handle.write(item) # 如果是最后一个元素，在写入元素后，应该写入一...
2018-07-09 16:14:22
268
原创 学员信息管理系统V1.0
# -*- coding: utf-8 -*-__author__ = 'wj'__date__ = '2018/7/7 16:08'def add_stu(): """ 添加学员 :return: None """ # 循环添加 while True: name = input('* 请输入要添加的姓名...
2018-07-09 09:21:06
712
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人