赖德发的博客

今天我们介绍下pyechats 的用法和一个简单的例子。 安装： pip install pyecharts 步骤1：导入相关包： # 导入包 import pandas as pd from pyecharts.charts import * from pyecharts import options as opts from pyecharts.globals import * from ...

使用过默认的pip 安装包的同学们都知道，默认的pip 安装起包来速度没有那么快，那么有没有更快速的方法安装起包来呢？有，使用国内的清华镜像源，直接在国内下载安装包，弯道超车起步更快，总比去国外下载包来得更快哦。下面我们一起来了解下具体用法。 一、临时使用清华镜像源安装包 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas...

python 读取txt数据报如下错误： filename='D:/2019-09-01.txt' data = pd.read_table(filename, sep=',', header=None) print(data) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 2: invalid cont...

一、python数据框按某列分组取第一个 核心： df.sort_values(['date_time2','value'],ascending=[1,1],inplace=True) grouped = df.groupby(['date_time2']).head(1) 按date_time2 分组 取 value值的第一个 # -*- coding: utf-8 -*- impo...

在同一个目录下有很多格式一样的txt 或者csv文件，怎么把他们合并成一个大的txt或者一个大的csv文件呢？ 解决方案： 合并同一个文件下所有的txt: # -*- coding: utf-8 -*- import pandas as pd import os # 设定所有文件存放路径 save_path='D:/结果数据/' # 设定合并数据集存放路径 save_merge_path='D...

问题描述：使用ipython notebook 报如下错误: ModuleNotFoundError: No module named 'win32api' 解决方法： pip install pypiwin32 重启 ipython notebook 就可以啦

通常呢，大家绘制图片，立马想到的是matplotlib这个包 ，也就是说，你只需调用 .plot() 方法，即可快速绘制简单的 pd.DataFrame 或 pd.Series。如下： import matplotlib.pyplot as plt import pandas as pd import numpy as np lines_df=pd.DataFrame(np.random.rand...

应用场景：有些查询sql接口 地方where条件动态变化。后端如何根据where条件变化。下面是一个简单的实现。 # -*- coding:utf-8 -*- import cx_Oracle from DBUtils.PooledDB import PooledDB from webapi_function import * from config import * dsn = cx_Orac...

用flask 写接口，如何获取请求参数数据呢。 1、get 参数 if request.method == "get": text = request.args.get('text') 2、post 参数 if request.method == "POST": id=request.form.get('id') word=request.form.get...

用conda 安装环境时，报如下错误： Cache entry deserialization failed, entry ignored 解决： 更新pip版本：python -m pip install --upgrade pip

错误类型如下： Max retries exceeded with url version=1 (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'SSL23_GET_SERVER_HELLO', 'sslv3 alert handshake failure')],)",),)) 原因分析： 在使用html=...

opencv4.0版本以后，加入了二维码定位解码的功能。下面我们将使用该功能，进行图片二维码检测。 由于 python中cv2模块的imread函数呆以正常读取’jpg’,'png’格式的图片，但是不能处理’gif’图片。可以改用imageio模块来处理。 安装 imageio 模块 pip install imageio # -*- coding: utf-8 -*- import cv2 ...

某个网址爬出来的网页源代码出现中文乱码 查看源代码可以发现这个网址采用的编码是GBK # -*- coding: utf-8 -*- import requests url='https://www.jb51.net/do/book.html' import re # r=requests.get(url) # r.encoding='GBK' # html=r.text html=req...

一、需求分析 抓取url: http://www.p2peye.com/shuju/ptsj/抓取字段： 昨日数据 排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入二、python爬虫源代码# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencodin

一、需求分析 识别身份证图片上的身份证号码。 如： 二、python实现源代码 # !/usr/bin/python #-*-coding:utf-8-*- import sys reload(sys) sys.setdefaultencoding('utf-8')import time time1 = time.time() from PIL import Image import pyte

python数据可视化 内容： 1、python 画柱状图 2、python画条形图 3、python画折线图 4、python画饼图 # -* encoding:utf-8 *- import matplotlib.pyplot as plt ##########设置中文显示 from pylab import * import pandas as pd mpl.rcParams['fo

一、需求分析 模拟登陆新浪微博,爬取新浪微博的热门话题版块的24小时内的前TOP500的话题名称、该话题的阅读数、讨论数、粉丝数、话题主持人，以及对应话题主持人的关注数、粉丝数和微博数。二、开发语言 python2.7三、需要导入模块 import requests import json import base64 import re import time import pand

# encoding: utf-8 from __future__ import division import sys reload(sys) sys.setdefaultencoding('utf-8') import numpy as np import pandas as pd # 1.创建DataFrame的几种方式 #######1.1纯字典创建 students={'names':['

# -*- coding:utf-8 -*-import sys reload(sys) sys.setdefaultencoding('utf-8') import pymysql conn=pymysql.connect(host='localhost',port=3306,user='root',password='12345',db='cgjr', charset='utf8') # 创建游

一、安装配置（python2.7）1.pip install pytesseract 2、pip install pyocr 3、pip install pillow 4、安装tesseract-ocr：http://jaist.dl.sourceforge.net/project/tesseract-ocr-alt/tesseract-ocr-setup-3.02.02.exe，安装在C:\Pro

一、效果二、源代码print'\n'.join([''.join([('LoveDaLin'[(x-y)%8]if((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3<=0 else' ')for x in range(-30,30)])for y in range(15,-15,-1)])

1、数据 xyj.txt，《西游记》的文本，2.2MB 致敬吴承恩大师，4020行（段）2、目标 统计《西游记》中： 1. 共出现了多少个不同的汉字； 2. 每个汉字出现了多少次； 3. 出现得最频繁的汉字有哪些。3、涉及内容： 1. 读文件； 2. 字典的使用； 3. 字典的排序； 4. 写文件4、效果5、源代码# coding:utf8impor

MySQLdb 安装：pip install mysql-python加载包 -------------------------------------------------------------------------------- import MySQLdb import MySQLdb.cursors ------------------------------------------

一、算法思想 目的奔着去抓取百度指数的搜索指数，搜索指数的爬虫不像是其他爬虫，难度系数很高，分析之后发现是图片，坑爹的狠，想了下，由于之前做过身份证号码识别，验证码识别之类，豁然开朗，不就是图像识别麽，图像识别我不怕你，于是就有了思路，果然有异曲同工之妙，最后成功被我攻破了，大致思路如下：1、首先得模拟登陆百度账号（用selenium+PhantomJS模拟登陆百度，获取cookie）

1、需求目标 ： 进去淘宝页面，搜索耐克关键词，抓取 商品的标题，链接，价格，城市，旺旺号，付款人数，进去第二层，抓取商品的销售量，款号等。2、结果展示 3、源代码# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import time import pandas as pd time1=ti

一、NLP介绍概念 Natural Language Processing/Understanding，自然语言处理/理解日常对话、办公写作、上网浏览希望机器能像人一样去理解，以人类自然语言为载体的文本所包含的信息，并完成一些特定任务内容 中文分词、词性标注、命名实体识别、关系抽取、关键词提取、信息抽取、依存分析、词嵌入……应用 篇章理解、文本摘要、情感分析、知识图谱、文本翻译、问答系统、聊天机器

背景 如何表示词语所包含的语义？苹果？水果？Iphone？ 苹果、梨子，这两个词相关吗？语言的表示 符号主义：Bags-of-word，维度高、过于稀疏、缺乏语义、模型简单 分布式表示：Word Embedding，维度低、更为稠密、包含语义、训练复杂Word Embedding 核心思想：语义相关的词语，具有相似的上下文环境，例如， 苹果和梨子 所做的事情：将每个词语训练成，词向量实

# encoding: utf-8###################设置utf-8编码############## import sys reload(sys) sys.setdefaultencoding('utf-8')####################导入包######## import pandas as pd import numpy as np import matplotli

1、什么是“爬虫”？简单来说，写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫；爬虫理论上步骤很简单，第一步获取html源码，第二步分析html并拿到数据。但实际操作，老麻烦了~2、用Python写“爬虫”有哪些方便的库常用网络请求库： requests、urllib、urllib2、urllib和urllib2是Python自带模块，requests是第三方库常用解析库和爬虫框架： Be

import matplotlib.pyplot as plt sizes = [15, 30, 45, 10] labels = 'Frogs', 'Hogs', 'Dogs', 'Logs' colors = ['yellowgreen', 'gold', 'lightskyblue', 'lightcoral'] explode = (0, 0.1, 0, 0) plt.pie(sizes,

import pandas as pd import numpy as np import matplotlib.pyplot as plt import random N=50 x=np.random.randn(N) y=np.random.randn(N) plt.scatter(x,y,s=50,c='b',marker='o',alpha=0.5) plt.savefig("C:/a3.j

一、需求分析 抓取今日头条短视频视频链接： http://video.eastday.com/a/170612170956054127565.html二、代码实现# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import requests import re import time time1=t

输入视频链接，python后台下载视频# encoding: utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import requests import re import time time1=time.time() link='http://v3.365yg.com/a0ee2d891f16098d3098f8f1436

# coding:UTF-8 import matplotlib.pyplot as plt import numpy as np import pandas as pd import matplotlib.dates as mdates##画直线 plt.plot([1,2,3,4,5],[1,2,3,4,5]) plt.show()##numpy 导入数据,切片，索引 a=np.loadtxt(

程序1：输入病员号，查询病员信息# encoding: utf-8from selenium import webdriver import sys reload(sys) sys.setdefaultencoding('utf-8') from lxml import etree import pandas as pd import time time1=time.time() driver=we

一、需求分析 输入旺旺号，获取淘宝卖家的信用分二、思路 淘宝需要模拟登陆，我们这里抓不到，因此为了绕过登陆，发现了淘一兔，我们可以通过这里，得到淘宝卖家的信用分，结果是一样的。 http://www.taoyizhu.com/输入旺旺号，需要点击查询，等待几秒，得到查询结果，这里我们用selienum 来做三、实现源代码（抓取不能太快，否则抓不到）# encoding: utf-8from s

一、需求分析 抓取淘宝店铺名称，旺旺，销售量 二、效果展示 三、实现源代码# encoding: utf-8import sys reload(sys) sys.setdefaultencoding('utf-8')import pandas as pd import time import re time1=time.time()import requestsseller=[] shop=[]

Pillow是Python里的图像处理库（PIL：Python Image Library），提供了了广泛的文件格式支持，强大的图像处理能力，主要包括图像储存、图像显示、格式转换以及基本的图像处理操作等。1）使用 Image 类PIL最重要的类是 Image class, 你可以通过多种方法创建这个类的实例；你可以从文件加载图像，或者处理其他图像, 或者从 scratch 创建。要从文件加载图像，可

Image是pillow库中一个非常重要的模块，提供了大量用于图像处理的方法。使用该模块时，首先需要导入。>>> from PIL import Image接下来，我们通过几个示例来简单演示一下这个模块的用法。 （1）打开图像文件>>> im = Image.open('sample.jpg')（2）显示图像>>> im.show()（3）查看图像信息>>> im.format #查看图像格式‘

插值方法: CV_INTER_NN - 最近邻插值, CV_INTER_LINEAR - 双线性插值 (缺省使用) CV_INTER_AREA - 使用象素关系重采样。当图像缩小时候，该方法可以避免波纹出现。当图像放大时，类似于 CV_INTER_NN 方法.. CV_INTER_CUBIC - 立方插值. 函数 cvResize 将图像 src 改变尺寸得到与 dst 同样大小。若设定