xxy_yang-CSDN博客

原创 python 浅拷贝

自己写了一个脚本，对txt文件进行读取内容，然后插入mysql数据库。执行代码后发现，自己插入的的数据都是一样的，自己运行自己获取数据的脚本，在循环中打印数据，是没有错误，但是到最后是出现错误。不知道错误在哪里。询问了同事，得知自己的脚本循环中用了浅拷贝，所以出现了错误。深拷贝和浅拷贝主要不同是，深拷贝，是把内容拷贝下来而且还存放在一个新的内存地址，而浅拷贝...

2018-12-21 18:32:01 227

原创 list元素为dict，去除重复数据的方法

list的元素是字典，去除list重复数据的实现方法如下下面方法主要是多个条件去重：def distinct_list(datas): data_list = [] data_list.append(datas[0]) for dict in datas: k = 0 for item in data_list: ...

2018-12-21 14:03:13 2943

原创 Mongodb的aggregate常用语句

Mongodb常用的聚合语句和sql语句的对比： $match相当于where $group 相当于 group by $match 相当于having $project 相当于 select $sort 相当于 order by $limit 相当于 limit $sum 相当于 sum() $count() 相当于 count() Join 相当于...

2018-09-14 14:48:29 1060

原创 falsk后端的post或get请求

一.常用的GET请求：@app.route("/hello",methods=["GET"])def hello_word(): if request.method == 'GET': #获取参数 reqArgs = request.args.to_dict() if "data" and "a" in reqArgs.keys(...

2018-08-22 16:52:30 321

原创 pandas写入读取csv文件

1.利用Pandas把列表数据写入csv文件，具体操作封装成函数，然后直接调用就行。def insert_csv(datas): df = pd.DataFrame(datas) file_name = 'hello' df.to_csv('{}.csv'.format(file_name),encoding = "GBK") 注释：有可能出现写入cs...

2018-07-26 15:30:44 27270

原创 linux常用操作命令

一．查看系统命令查看当前系统的内核版本： cat/proc/version 校验使用内存情况：cat/proc/meminfo 重新启动liunx：shutdown –r now二．文件操作，以及文件修改命令进入某个目录：cd /a/a/c 返回上一层目录：cd .. 进入上次目录：cd – 查看目录中的文件：ls 创建一个目录：mkdir +目录名修改文件：vim +文...

2018-07-26 11:28:54 171

原创时间戳与时间相互转换的一些操作

为了防止自己以后老是忘记一些datetiem与timestamp相互转换的操作，自己封装了一些函数，方便以后调用。# datetime转换成时间戳def chang_time_to_timestamp(date_time): last_day = int(time.mktime(date_time.timetuple())) return last_day# tim...

2018-07-26 11:11:50 406

原创常用MYSQL的操作

为了避免自己以后多次写mysql查询语句，以及插入，更新语句，自己把这些语句封装成函数，便于以后调用。一.Mysql 常用链接语句。def get_conn(host,db,psw): db= pymysql.connect(host=host,user="root", password=psw,db=db,charset='utf8',port=3306,cursorc...

2018-07-26 11:08:36 174

原创安装mongodb数据库

1先下载mongodb安装包，一般直接下载zip文件比较快，下载mis文件安装出现卡的问题，所以最好选择zip文件进行安装。下载链接地址如下：https://www.mongodb.com/download-center?jmp=nav#atlas2.下载完毕之后需要解压缩，放到一个盘中，我放到的是D盘。...

2018-06-28 16:50:33 362

前一段时间，爬取一个网站的数据，该网站需要模拟登陆，输入账号，密码，及其简单的验证码，其验证码通过请求获取的验证码是和页面上的不一样，所以想要成功破解验证码，需要利用Selnium截图，然后模拟登陆，输入账号，密码进行模拟登陆。1.先利用selnium进行截取登陆页面图片，然后定位验证码的位置，进行截图，然后进行验证码破解，具体代码参考如下： # -*- coding:utf-8 -*-imp...

2018-03-13 15:33:23 3970

原创利用Python破解简单的验证码

前一段时间爬取一些网页数据需要获取其的验证码，然后拼接url获取数据。然后通过看其验证码形式，就是一些简单的字母加数字，然后加燥的验证码。然后网上百度了一下，Python可以做一些简单的验证码破解。具体操作如下：一：windows安装相应的包：1.先安装Pillow:pip install Pillow 2.安装tesseract-ocr...

2018-03-05 11:06:02 2635

xxy_yang的博客