2017年08月_zn505119020

原创 Python 图片转存

import osfrom PIL import Imagewith open("test.txt")as fp: #读入ebayno,ebayno放在test.txt文件中 for line in fp: ebayno = str(line.strip()) if os.path.exists("picture\\"+ebayno+".jpg"): #

2017-08-31 17:44:07 556

原创 pandas concat表连接

concatconcat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合12pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False)12参数

2017-08-31 11:36:47 2478

原创 python pandas字符串过滤

import pandas as pddf = pd.read_csv("together.csv" , index_col=False)#新建motor group fr lrdf["motor"] = "#"df["group"] = "0" #默认不是组合df["fr"] = "#"df["lr"] = "#"#打标签motor#找出motor 中含某些字符串的然后将对应

2017-08-30 16:42:09 2739

原创网页json解析字典内数组

from urllib.request import *import reimport jsonimport urllib.parseimport urllib.requestfrom bs4 import BeautifulSoupimport randomimport reimport jsonimport xlrdimport csvdef randHeader():

2017-08-24 13:32:57 580

原创 python 读excel数值为浮点型问题

#读入nodata = xlrd.open_workbook("no.xlsx") #打开exceltable = data.sheet_by_name("Sheet1") #读sheetnrows = table.nrowscols = table.ncolsnos = []for i in range(1,nrows): #指定从1开始，到最后一列，跳过表头 for j

2017-08-24 11:27:14 11855 1

原创将字符串解析成json字符串时，遇到的错误

ECMA script注明json字符串中需要转义的字符： " / \ b f n r t 问题描述及解决：1出现 0xae 174 超acsii，采取替换 s = str(html).replace("\\xae","") #转成str,替换编码174的符号为空2 出现 \\ 替换成 \ s = s.replace("\\\\","

2017-08-23 23:46:12 3122

原创 csv写入时指定表头

import csvwith open('names.csv', 'w') as csvfile: fieldnames = ['first_name', 'last_name'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() writer.writero

2017-08-22 15:35:54 33288

原创 ebay产品名称分析

将英文文本分词进行词频统计import nltkimport xlrdfrom collections import Counterimport pandas as pddf = pd.read_csv("sku\\together.csv" , encoding="utf-8")product_names = df["product_name"].valuescontent =

2017-08-21 17:58:30 675

原创 url编码表

空格 %20& %26URL编码表backspace8%A41%a61%§%A7Õ%D5 tab9%B42%b62%«%ABÖ%D6 linefeed

2017-08-21 10:28:34 699

原创 python 判断是否存在某个文件

import osos.path.exists("picture\\"+str(ebayno)+".jpg")存在就返回True, 不存在就返回 False

2017-08-18 15:48:44 6493

原创 ebay图片抓取下载到本地

Python3 from urllib.request import *urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。urllib.request.urlretrieve(src, "picture\\"+str(ebayno)+".jpg")from urllib.request import *i

2017-08-18 14:57:55 2377

原创正则表达式实例1

# #正则表达式# #r'\t'使用原始字符串来表示它们,模式元素(r'\t'，等价于 '\\t')匹配相应的特殊字符。# #re.S 使 . 匹配包括换行在内的所有字符# # (.*?) 匹配分组，(.*? )后面多个问号，代表非贪婪模式，也就是说只匹配符合条件的最少字符，分组返回的是列表# ss = re.findall(r"(.*?)",strpp,re.S)

2017-08-18 10:39:47 239

原创 ebay description抓取

from urllib.request import *import reimport jsonimport urllib.parseimport urllib.requestfrom bs4 import BeautifulSoupimport randomdef randHeader(): head_connection = ['Keep-Alive', 'close

2017-08-17 18:11:14 879

原创 python 创建一个空dataframe 然后添加行数据

import pandas as pdimport reimport mathdframe1 = pd.read_excel("window regulator分析报告数据对比源.xlsx", sheetname="Sheet1") #读取数据dframe2 = pd.read_excel("window regulator分析报告数据对比源.xlsx", sheetname="Sheet

2017-08-17 13:46:07 184616 2

原创 python 数据库的增删改查+模块

import pymysql#查找数据库def findFromDB( query_id): db = pymysql.connect(host='localhost', user='root', passwd='', db='test', port=3306, charset='utf8') cursor = db.cursor() sql = ' select *

2017-08-17 09:52:57 865

原创对方法的验证

1 把基准数据提出import pandas as pddframe1 = pd.read_excel("window regulator分析报告分析.xlsx", sheetname="Sheet1")dframe2 = pd.read_excel("window regulator分析报告分析.xlsx", sheetname="Sheet2")dframe1["sku"] ="#"

2017-08-14 16:57:15 270

原创 csv 按指定列顺序写入

pandas DataFram 如何制定列的顺序（默认列名字典顺序）问题：默认的是按照列名的字典顺序排序的，要固定顺序，按照自己想要的顺序。解决方案：加columns字段即可例子：columns = ['cmt','class_label','test_label','predict_label']df.to_csv("cnn_predict_r

2017-08-14 16:54:08 14060 2

原创 dataframe 操作excel

import pandas as pddframe1 = pd.read_excel("window regulator分析报告分析.xlsx", sheetname="Sheet1")dframe2 = pd.read_excel("window regulator分析报告分析.xlsx", sheetname="Sheet2")dframe1["sku"] ="#"# df = pd.

2017-08-14 14:12:43 5254

原创美元与人民币汇率 Python

正则表达式： s = re.findall("\((.*)\)",str(html))[0]from urllib.request import *import reimport jsonfp = urlopen('http://webforex.hermes.hexun.com/forex/quotelist?code=FOREXUSDCNY,&colu

2017-08-10 15:49:21 12202

原创 Python 畅销价格 python画图

import csvimport matplotlibmatplotlib.use('Qt5Agg')from collections import Counterimport matplotlib.pyplot as pltimport xlrddef getgo(sku , bestprice): result = [] ebaylist = [] wi

2017-08-08 18:24:05 597 1

原创多sku对应的市场销量---非多线程

ebay_ebayno.pyimport randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport csvimport numpy as npimport reimport xlrdfrom my_feedback_ebayno import

2017-08-04 17:55:36 665

原创 python 编码

out = open("result\\together.csv","w",newline="",encoding="utf-8")

2017-08-04 13:49:33 180

原创 python json 解析

import urllib.requestimport jsonimport rehtml = urllib.request.urlopen('http://frame.ebay.com/ws/eBayISAPI.dll?GetFitmentData&rand=147945705603&site=100&vs=0&req=2&cid=33706&item=311385266923&ct=20

2017-08-03 23:48:22 337

原创 ebay fitment json解析

问题： ebayno 3113852669231722638227711215490257471from fitment_ebay import SpiderJob #从一个模块中导入类import csvif __name__ == '__main__': qs = [] with open("test

2017-08-03 17:33:55 565

原创 python读excel两种方式

import xlrddata = xlrd.open_workbook("window regulator.xlsx") #打开exceltable = data.sheet_by_name("Sheet2")#读sheetnrows = table.nrows #获得行数result = []for i in range(1,nrows): # rows = table.

2017-08-03 16:23:29 15257 2

原创在线代码格式化

网址： http://tool.oschina.net/codeformat/js

2017-08-03 11:56:14 2153

原创 ebay价格

152644841056 有2个价格import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport csvimport numpy as npimport reclass EbaySpider(object):

2017-08-02 18:27:05 543

原创从csv中读数据，并写到csv中

import pymysqlimport numpy as npimport csvdef connectViogidata(ebayno): db = pymysql.connect(host='queryserver.mysql.rds.aliyuncs.com', user='viogi_datas', passwd='viogi#vds322', db='viogidata'

2017-08-01 17:52:13 912

原创从数据库中读数据

import pymysqlimport numpy as npdef connectViogidata(ebayno): db = pymysql.connect(host='', user='', passwd='', db='viogidata', port=3306, charset='utf8') cursor = db.cursor() sql = ' s

2017-08-01 17:41:31 311

原创 http工作原理实现

采用urllib模块实现import randomimport urllib.parseimport urllib.requestfrom bs4 import BeautifulSouphead_connection = ['Keep-Alive', 'close']head_accept = ['text/html, application/xhtml+xml, */*

2017-08-01 17:22:26 223

原创 http协议

HTTP简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。HTTP之URLHTTP使用统一资源标识符（Uniform

2017-08-01 17:09:53 587

zn505119020的专栏