Bi_1ngram4-CSDN博客

转载 Scrapy中使用fake_useragent

pip install fake-useragentmiddlewares.py:from fake_useragent import UserAgentua = UserAgent()from fake_useragent import UserAgentclass RandomUAMiddleware(object): def process_request(self,re...

2020-04-18 19:18:29 756 1

原创 Matplotlib基础操作

直方图plt.hist(df.life,bins=50,rwidth=0.9) # bins 设置区间数，rwidth设置柱子相对宽度plt.show()plt.rcParams[]pylot使用rc配置文件来自定义图形的各种默认属性，称之为rc配置或rc参数。通过rc参数可以修改默认的属性，包括窗体大小、每英寸的点数、线条宽度、颜色、样式、坐标轴、坐标和网络属性、文本、字体等。r...

2019-12-31 15:08:20 284

转载数据分析EXCEL常用

转自：https://mp.weixin.qq.com/s?__biz=MjM5NjEyMDI2MQ==&mid=2455946747&idx=1&sn=667693f99cc34ca357719cc459fba183&chksm=b1787651860fff47f24645579fe956e952360ddc597b1fd5be43f90df2212103434d...

2019-12-05 17:10:52 426

原创特征工程

sklearn.datasets.load_数据集名() 获取数据集sklearn.datasets.fetch_数据集名() 获取大规模数据集特征工程处理方法：原始数据–>数据处理–> 特征提取 --> 特征选择和特征降维 -->模型构建3类特征提取方式：1.数值类型 -->直接使用2.时间序列 --> 转成单独年、月、日3.分类数据 --...

2019-11-27 14:52:38 259

原创 MySQL基础操作

Python操作MySQLimport pymql #导入pymql包连接conn = pymysql.connect ( host='localhost', port=3306, user='root', passwd='密码', db='database name' ) cur...

2019-11-12 17:19:34 246

原创 pandas常见基础操作

import pandas as pd 导入创建data = {' 列名' : [' ', ' ', ' ']}df_data = pd.DataFrame(data) 创建pandas，相当于字典取pd.read_csv(' .csv') 读取csv文件df.head(6) 读取前6行df.info() 返回当前信息df.columns() 返回列名df.in...

2019-11-12 11:27:53 221

原创模拟登录

请求时携带Cookiesdef start_requests(self): # 请求时携带Cookies cookies = '_uuid=AF1BDDAC-262D-B735-E263-8B18B08AA29127233infoc; buvid3=4AF29BB0-2171-4B3D-ABCC-9B3CE12D3CA9190968infoc; LIVE_BUVID=AUTO72156...

2019-11-12 11:00:58 686

原创 selenium常用

selenium实用方法from selenium import webdriver from selenium.webdriver.chrome.options import Options#无头浏览器def __init__(self)： self.options = Options() self.options.add_argument('-headless') # 无头参数...

2019-11-12 10:58:52 408

原创 numpy常用基础操作

np.intersectld(arr1,arr2) 找出公有值np.setdiffld(arr1,arr2) 去重np.where(arr1=arr2) 找出匹配元素的索引号np.exp(arr1) 求幂次方np.sqrt(arr1) 开方np.floor(arr1) 向下取整np.linspace( 起始点,结束点,元素个数）生成等差数列np.identity(...

2019-11-12 10:57:33 510

转载 Scrapy setting详解

settings.py配置文件中：本文转载自:https://blog.csdn.net/fenglei0415/article/details/80438110# -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, this file contains only set...

2019-09-30 11:24:24 205

原创 Python学习笔记之——封装

Python学习笔记之——封装封装是指：1、将不需要对外提供的细节都隐藏起来。2、把属性都隐藏，提供公共方法对其访问。私有变量和私有方法，在python中用双下划线来将其隐藏。封装在于明确区分内外，使得类实现者可以修改封装内的东西而不影响外部使用者的代码。而外部使用者只知道一个接口，只要接口名和参数不变，使用者的代码永远无需改变。提供了一个良好的合作基础...

2019-09-30 10:40:31 291

原创初次运用scrapy爬取Ajax异步加载数据(陕西)

1.运用scrapy写爬虫①创建scrapy目录②设置setting③写items④写爬虫scrapy.Request()参数：url: 需要请求，并进行下一步处理的urlcallback: 指定该请求返回的Response，由那个函数来处理。method: 一般不需要指定，使用默认GET方法请求即可headers: 请求时，包含的头文件。一般不需要。Host: media.r...

2019-09-20 17:26:15 790

Bi_1ngram4的博客