zn505119020-CSDN博客

原创 Mockito + Junit5 提升java 代码覆盖率

mockito+Junit5

2024-01-24 23:19:18 381

原创 dataframe.read_excel() 指定某些数字型字段为object,避免默认为int64

dataframe.read_excel() 指定某些数字型字段为object,避免默认为int64curdf = pd.read_excel("get_today_all.xlsx", dtype={"code": "object"}) 字段类型float64 str object int64 数据类型转换curdf["code"] = curdf["code...

2018-08-13 16:09:29 5249

原创 python mongodb操作

目录测试 import requestsimport timeimport datetimefrom pymongo import MongoClient # 导包#创建连接到数据库client = MongoClient('mongodb://ec2-13-56-14-11.us-west-1.compute.amazonaws.com:37017/')#创建数据库...

2018-08-02 11:16:18 516

原创 ubuntu 16.04 linux下mongodb的安装和配置

目录测试环境：安装步骤：创建数据库目录启动mongod服务操作数据库配置MongoDB认证账户1：常用命令2：roles字段，指定用户的角色,内置角色3:设置密码mongodb远程连接配置集合查询方法测试环境：ubuntu： 16.04.4 LTSgcc： 5.4.0mongdb： 3.6.6linux:查看版本una...

2018-08-01 15:43:02 16442

原创 window迁移至linux mysql主从同步操作以及错误总结

目录A: 测试环境B 主库操作C:从库操作D:主从同步问题总结问题一： Slave_SQL_Running_State: Reading event from the relay log 出现延迟问题二：Last_SQL_Error: Could not execute Delete_rows eventA: 测试环境主服务器： window系统主库（...

2018-07-27 15:22:59 507

原创 python 数组写成字符串 unicode 还原成数组

dt = u'[[1526072400000,0.00174020,0.00175920,0.00172020,0.00174200,55950.2825],[1526076000000,0.00174176,0.00178489,0.00174090,0.00177600,72030.4565]]' from ast import literal_eval import nump...

2018-05-24 17:20:26 2447 2

原创 python datetime utc 转换

import dateutil.parser import pytz import time from datetime import datetime datestring = '2018-05-17T04:00:00.000Z' local_time = dateutil.parser.parse(datestring).astimezo...

2018-05-21 15:45:52 11891

原创 window python2.7 ImportError: No module named 'MySQLdb'

下载链接地址：点击打开链接下载版本： mysqlclient‑1.3.12‑cp27‑cp27m‑win_amd64.whl

2018-05-16 18:30:51 2283

你到一个商店买东西，刚好你要的东西没有货，于是你在店员那里留下了你的电话，过了几天店里有货了，店员就打了你的电话，然后你接到电话后就到店里去取了货。在这个例子里，你的电话号码就叫回调函数，你把电话留给店员就叫登记回调函数，店里后来有货了叫做触发了回调关联的事件，店员给你打电话叫做调用回调函数，你到店里去取货叫做响应回调事件。回答完毕。作者：常溪玲链接：https://www.zhihu.com/q...

2018-05-07 16:25:03 2040

原创 python request 中文乱码

1 问题出现：<title>ä¸ªè¡ç¹ç _ ä¸æ¹è´¢å¯ç½</title>2 问题解决：确认网页内容编码，并解密加密def assert_encoding(response): if response.encoding == 'ISO-8859-1': encodings = requests.utils.get_encodings_f...

2018-04-25 16:36:01 3247

原创 schedule 定时器

import scheduleimport timefrom datetime import datetimedef test_schedule(): import schedule import time import threading from datetime import datetime def job(): pr...

2018-04-20 16:48:13 762

原创 PhantomJS_Selenium安装与配置

PhantomJS:下载地址：http://phantomjs.org/download.html版本： phantomjs-2.1.1-windows.zip下载后解压即可，配置环境变量 path D:\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin;SeleniumSelenium安装下载地址： https://pypi.python...

2018-04-20 16:45:54 650

原创 keras环境配置

参考链接：http://blog.csdn.net/albert_1000/article/details/72794243http://blog.csdn.net/GoodShot/article/details/54944923http://blog.csdn.net/u013165921/article/details/78751070https://github.

2018-02-05 14:47:52 717

原创图片转存二

import mathimport pandas as pdimport re,jsonimport timeimport numpy as npfrom get_ebay_item_thread_db_specifics_api import Databaseimport osimport globfrom shutil import copyfilefrom Lib impo

2018-02-05 10:02:29 332

原创 description中fits解析——正则表达式

from functools import reduceimport numpy as npimport pandas as pdimport refrom bs4 import BeautifulSoupdef get_description_string(description): RULES = [ # [r'^[\s\S](fitment)',""]

2018-01-11 11:21:29 342

原创 python raise 触发异常

import pandas as pdimport webbrowserdef mye(level): if level < 1: raise Exception("Invalid level!",level) #强制触发异常,并传入两个参数 # 触发异常后，后面的代码就不会再执行if __name__ == "__main__": # pri

2018-01-10 15:53:38 4372

原创查询chrome保存的cookies

方法1：F12打开开发者工具，找到console页面，输入document.cookie既可以查看。复制出来即可。复制到cookies.txt文件，然后python保存为字典：with open("cookies.txt","r") as fp: cookies={} for line in fp.read().split(";"): name,va

2018-01-09 10:12:06 13283 1

原创汽配类网站信息和图片爬虫

给一个汽配图片网站，需要抓取某品类下的数据和图片。步骤：第一步：品类网址下的所有item收集 title url第二步：根据item的url网址下收集该item相关的title description fitment 图片url第三步：根据图片url下载图片并保存代码实现：第一步：品类网址下的所有item收集 title urlimport reimport

2018-01-08 14:50:36 583 1

原创 amazon asin检查

from queue import Queueimport timeimport randomimport threadingimport numpy as npimport loggingimport pymysqlimport pandas as pdimport requestsimport jsonimport refrom bs4 import BeautifulS

2018-01-08 14:11:20 1068 1

原创乐动力刷微信步数失败

import pandas as pdimport timeimport requestsimport jsondef get_post1(): # url = "http://pl.api.ledongli.cn/xq/io.ashx" url = "http://walk.ledongli.cn/rest/dailystats/upload/v3" # url

2018-01-07 21:43:37 2501 1

原创 json格式转换成dataframe

import reimport jsonfrom bs4 import BeautifulSoupimport pandas as pdimport requestsimport osfrom pandas.io.json import json_normalizeclass image_structs(): def __init__(self): self

2018-01-03 18:15:52 6500

原创 specific解析

import pandas as pdimport re,jsondef json_quote(string): singlequote = "@#$" doublequote = "^^&" string = str(string).replace("'",singlequote) string = str(string).replace('"',double

2018-01-02 13:41:58 529

原创 json单引号双引号问题

json 属性值用双引号思路：将单引号转换为 @#$将双引号转换为^^&def json_quote(string): singlequote = "@#$" doublequote = "^^&" string = str(string).replace("'",singlequote) string = str(string

2018-01-02 12:03:35 1711

原创正则提取html网页中字符串

方式一：RULES = [ [r'', ''], [r'', ''], [r'', '\n'], [r'', '\n'], [r']+?>', ''], [r' ', ' '], [r'&', '&'], [r'<', '], [r'>', '>'], [r'"', '"

2017-12-29 17:00:33 3547

原创 ebay API

申请appid官方文档：http://developer.ebay.com/devzone/shopping/docs/concepts/shoppingapiguide.html访问上线：

2017-12-28 15:15:33 1132

原创 python文件操作 glob os shutil

glob模板官方文档： https://docs.python.org/3/library/glob.htmlos模板官方文档： https://docs.python.org/3/library/os.htmlshutil模板官方文档： https://docs.python.org/3/library/shutil.html常用函数：路径搜索

2017-12-26 11:50:35 298

原创 python base64编码的图片保存到本地

import osimport base64sss ="""/9j/4AAQSkZJRgABAQEASABIAAD//gAyUHJvY2Vzc2VkIEJ5IGVCYXkgd2l0aCBJbWFnZU1hZ2ljaywgejEuMS4wLiB8fEIy/9sAQwAGBAUGBQQGBgUGBwcGCAoQCgoJCQoUDg8MEBcUGBgXFBYWGh0lHxobIxwWFiAsICMm

2017-12-22 10:57:05 339788 1

原创字符串字面量

解释：字符串字面量（stringliteral）是指双引号引住的一系列字符，双引号中可以没有字符，可以只有一个字符，也可以有很多个字符。python re.sub 中解释，原始字符串和字符串字面量的关系：链接：https://docs.python.org/3/library/re.htmlRegular expressions use the backslas

2017-12-20 16:46:53 2590

原创 csdn 搜索自己的博客

使用搜索引擎的时候使用 site 语法。格式如下： site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020使用搜索引擎的时候使用 site 语法。格式如下： site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020

2017-12-19 14:34:00 416 1

原创 json标准中，字符串是用双引号

官方文档： http://www.json.org/字符串格式：

2017-12-19 14:23:25 1736

原创 python 插入数据库错误的字符编码问题

参考博客：http://blog.csdn.net/shomy_liu/article/details/47681893 操作数据库的时候中文编码问题经常遇到，请确保： 1. 确保数据库编码为 `utf-8` 2. 确保数据库表的编码为`utf-8` 3. 确保数据库字段编码为 `utf-8` 4.程序连接数据库指定编码：`MySQLdb.connect("loc

2017-12-15 14:44:57 570

原创抓取某店铺的ebayno

import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport numpy as npimport reimport osfrom queue import Queueimport timeimport randomimport threadi

2017-12-14 18:09:57 1606

原创 python 创建删除文件夹合并文件夹内文件

创建文件夹import osif not os.path.exists("shop_ebayno"): # 先判断是否存在文件夹，不存在的时候创建，存在就不用创建 os.makedirs("shop_ebayno")删除文件夹import shutilshutil.rmtree("shop_ebayno") # 合并后删除文件夹以及文件夹里的内容

2017-12-14 18:02:24 486

原创 ebay_展示图片抓取

第一步：保存图片urlimport loggingimport randomimport threadingimport urllib.parseimport urllib.parseimport urllib.requestfrom queue import Queueimport pymysqlfrom bs4 import BeautifulSoupimport ti

2017-12-13 16:55:47 1240 1

原创根据ebayno爬取可见信息本地+数据库 API

保存到本地版本import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport csvimport numpy as npimport reimport xlrdimport osimport jsonfrom queue impor

2017-12-13 16:45:44 1167

原创 pandas与 xlsxwriter

官方文档链接：https://xlsxwriter.readthedocs.io/working_with_pandas.html

2017-12-12 11:19:40 1788

原创 tf-idf + svm 文本分类

01分类import pandas as pdfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.linear_model import LogisticRegressionfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.svm

2017-12-07 13:31:07 12746 3

原创店铺卖家的描述信息爬取

1数据库"""使用须知：代码中数据表名 mirror_desc ，需要更改该数据表名称的注意更改"""import pymysqlclass Database(): # 设置本地数据库用户名和密码 host = "localhost" user = "root" password = "123456" database

2017-12-06 16:02:13 505

原创 dict.setdefault(key, default=None)

参考链接： http://www.runoob.com/python/python-dictionary.htmlPython 字典(Dictionary) setdefault()方法描述Python 字典 setdefault() 函数和get() 方法类似, 如果键不存在于字典中，将会添加键并将值设为默认值。语法setdefaul

2017-12-05 16:57:50 1391

原创 css 选择器

参考网址： https://www.w3cschool.cn/css/css-selector.html最基本的选择器是元素选择器(比如div),ID选择器(比如#header)还有类选择器(比如.tweet)。一些的不常见的选择器包括伪类选择器(:hover)，很多复杂的CSS3和正则选择器，比如：first-child，class ^= “grid-”。CSS选择器具有

2017-12-01 17:59:00 157

空空如也

空空如也