- 博客(17)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 机器学习-算法
1、K近邻算法（KNN）在样本分布很不均匀的情况下，因为设定了固定的近邻点数目，在小类别判断时会强制混杂大类别的数据点，从而影响准确率from sklearn.datasets import load_irisimport seaborn as snsimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.prepr
2020-12-31 19:06:15
343
原创 机器学习-数据处理
1、不平衡数据处理from sklearn.datasets import make_classificationimport matplotlib.pyplot as pltfrom collections import Counterfrom imblearn.over_sampling import RandomOverSampler,SMOTE#创建数据集(样本数，总特征值个数，冗余特征值个数，有效特征值个数，每个类别包含特征值个数，类别数目，每个类别的比重,随机数种子)X1, Y1
2020-12-31 06:21:28
384
原创 pandas基础
1、series1.1、创建数组1）从ndarray创建import pandas as pdimport numpy as npdata = np.array(['a','b','c'])s = pd.Series(data) #默认索引s_index = pd.Series(data,index=[101,102,103]) #index，索引print (s)print(s_index)-------------------------------------------
2020-12-21 12:12:27
159
1
原创 opencv图像处理-从傅里叶变换开始
1、傅里叶变换1）nunpy中的操作import cv2import numpy as npfrom matplotlib import pyplot as pltimg = cv2.imread('opencv/data/messi5.jpg', 0)#二维傅里叶变换，转换成频率的函数，频率变化大的部位绝对值高f = np.fft.fft2(img)fshift = np.fft.fftshift(f)# 这里构建振幅图的公式,一个y轴对称在正向递增的变换magnitude_s
2020-12-19 22:28:28
299
原创 OpenCV图像处理基础
1、打开图片import cv2img = cv2.imread('messi5.jpg',cv2.IMREAD_COLOR)#读入一副彩色图像。图像的透明度会被忽略 默认参数。cv2.imwrite('a1.jpg', img) #保存图片cv2.imshow('image', img)#窗口会自动调整为图像大小（窗口名，图片名）cv2.waitKey(delay=0)#等待点击，0代表无限等待，返回按键的 ASCII 码值cv2.destroyAllWindows() #从内存中销
2020-12-17 21:50:54
590
原创 Matplotlib基础
1、曲线图import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] #显示中文标签plt.rcParams['axes.unicode_minus'] = False#准备数据X = np.linspace(-np.pi, np.pi, 256)C,S = np.cos(X), np.sin(X)#设置画布大小及分辨率fig=plt.figure(figs
2020-12-12 06:07:39
179
原创 Numpy数学运算
1、初等函数1）四则运算import numpy as npa = np.arange(6, dtype = np.float_).reshape(2,3)print (a)b = np.array([10,10,10])print (b)print ('两个数组相加：')print (np.add(a,b))print ('两个数组相减：')print (np.subtract(a,b))print ('两个数组相乘：')print (np.multiply(a,b))pr
2020-12-12 00:21:21
984
原创 Numpy基础
1、常用操作：1.1、创建ndarray数组：1）通过列表创建数组：import numpy as npa = np.array([1,2,3])print ('a:',a)b = np.array([[1, 2], [3, 4]])print ('b:',b)----------------------------------------------a: [1 2 3]b: [[1 2] [3 4]]2）创建指定大小数组：import numpy as np
2020-12-11 04:40:12
585
原创 NLP-HanLP基础
1、导入词典from pyhanlp import *def load_dictionary(): """ 加载HanLP中的mini词库 :return: 一个set形式的词库 """ IOUtil = JClass('com.hankcs.hanlp.corpus.io.IOUtil') path = "CoreNatureDictionary.mini.txt" #字典所在的路径 dic = IOUtil.loadDictionary
2020-12-07 20:15:07
1755
原创 NLP-HanLP-隐马尔可夫模型
import numpy as npfrom pyhanlp import *from jpype import JArray, JFloat, JIntdef convert_map_to_vector(map, label_index): v = np.empty(len(map), dtype=float) for e in map: v[label_index[e]] = map[e] return JArray(JFloat, v.ndim)(v..
2020-12-03 18:54:27
335
原创 爬虫-数据存储-redis
redis-cli 连接到数据库select 0 选择数据库0~15string set name jack 写入数据，类似字典会覆盖 get name 读取数据 del name 删除数据 setex name 100 jack 设置key的有效期为100秒expire name 100 设置key的有效期为100秒 ttl name 查看name的有效期mset k1 v1 k2 v2 设置多个值mget k1 k2 查看多个值a...
2020-11-23 01:05:50
320
原创 爬虫-数据存储-mongodb
1、数据库操作1、查看当前数据库：db2、查看所有数据库：show dbs3、切换数据库：use db_name4、删除当前数据库：db.dropDatabase（）2、集合操作1、创建集合：1）在插入数据时自动创建； 2）db.createcollection('col_name') 3）db.createcollection('col_name',{capped:true,size...
2020-11-22 21:56:13
124
原创 爬虫-数据存储
1、保存至txtfrom lxml import etreeimport requestsurl = 'https://movie.douban.com/top250'headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0', }response = requests.get(url=url, headers=head
2020-11-21 23:24:56
70
原创 爬虫-获取数据
1、urllib库1.1、get请求import urllib.requestresponse = urllib.request.urlopen('http://httpbin.org/') #返回一个类对象#获取二进制代码 b' 'response.read()1.2、post请求import urllib.requestimport urllib.parse#将字典转换成字符串，再转换成二进制data = bytes(urllib.parse.urlencode({
2020-11-21 16:34:16
343
原创 爬虫-scrapy基础
1.1、cd 到工作目录1.2、创建项目：scrapy startproject 项目名1.3、cd到项目文件夹内创建蜘蛛：scrapy genspider blog www.cnblogs.com1.4、配置文件： 1.4.1、spider: 1、设置起始start_urls为你要爬取的页面；class PedailySpider(scrapy.Spider): start_urls = ['http://p...
2020-11-19 19:15:12
186
空空如也
如何用VBA批量操作数据透视表
2019-09-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人