weixin_38859557的博客

原创 显示数据库信息

SELECT * FROM information_schema.TABLESSELECT TABLE_NAME,DATA_LENGTH+INDEX_LENGTH,TABLE_ROWS FROM information_schema.TABLES WHERE TABLE_SCHEMA='数据库名';

转载 building Type

An apartmentis owned by a corporation or a person and the units are all rented out to different people. You cannot purchase a unit in an apartment, you can only lease a unit.A condois very simi...

转载 american house business

unit (也是公寓的意思） 但是他是由一个个的私人房间构成的，一般用在小镇的命令中：Well the difference between a unit and an apartment is pretty obvious. A unit would be a 'unit' in a group of townhouses. For example I'm in unit 18. My ad...

转载 mysql json 常用处理函数

1：去除空格2：去除双引号3：去除一些特殊字符主要方法有一下几个：1：replace 函数after_replace = replace(replace_obj,'k','')2：trim 函数mysql>SELECTTRIM(BOTH'x'FROM'xxxphxxx'); //使用both中去除字段值前/后面匹配的字符 ->...

转载 android reverse

工具：1：apptool:对app进行反编译2：dev2jar，将dex转化成java代码3:jd_gui：java代码查看工具反编译命令apptool d test.apk代码转化工具命令：dev2jar classes.dex（需要将classes.dex 拖动到当前文件夹下代码查看：直接拖动代码就可以查看了查看设备信息：adb sh...

转载 msyql sql mode 问题

mysql查询报错： ORDER BY clause is not in GROUP BY..this is incompatible with sql_mode=only_full_group_by2017年07月25日 10:34:30tyilack_小小黑阅读数：42333版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014...

原创 scrapy 通过meta中的cookiejar 保证一个请求链的cookie信息

在现实的业务中，比如图片验证码的识别。在爬虫爬取的时候页面被重定向到了一个验证码识别页面，比如说一个字符验证，这种就是单独一个请求。不是滑动验证那种，需要一个容器加载js文件，然后拖动验证码识别。对于字符验证，就是一个post请求，但是scrapy中返回的是一个文本界面，如果，这个时候你把url复制出来然后再请求，通过了验证，但是你请求的已经是另外一个会话下的验证了，不是当前会话下的验证，...

转载 webdriver break

# coding: utf-8 # modify_response.py import re from mitmproxy import ctx def response(flow): """修改应答数据 """ if '/js/yoda.' in flow.request.url: # 屏蔽seleni...

原创 webdriver break

可能是全网唯一一个基于windows和java的关于selenium webDriver绕过网站反爬服务的方法2018年12月21日 14:28:55oldmee阅读数：1445版权声明：本文虽为博主原创文章，但你转了博主也不知道，所以放心的转吧。 https://blog.csdn.net/javaer_lee/article/details/85160659事情的起因是我需要用...

转载 验证码

反爬必修课之----(3)极验滑动验证码识别興華的mark关注0.92019.02.17 22:04*字数 1462阅读 311评论 4喜欢 8 验证码识别成为了对抗反爬虫的必修课之一，看了崔庆才著的《python3网络爬虫开发实战》后受益匪浅，本专题将着重学习记录不同的验证码识别方式：图像验证码、宫格验证码、极验滑动验证码、点触验证码。 [...

转载 验证码

极验滑动验证码缺口识别感谢崔大佬的《python3网络爬虫开发实战》这本书让我开了眼界。最近学习到验证码识别这一块，发现随着网站防爬手段的不断更新，要填的坑真是越来越多，这篇文章就分享一下近段时间的填坑之旅。首先来说一下书上的缺口识别函数，大概原理是通过两张图片的像素对比，识别像素不同的点确定缺口位置。然而这种识别方法的前提条件是必须要有两张图，一张图是不含缺口的图片，另一张则是...

原创 xpath的提取问题

如果xpath已经提取到li这个节点了如果要提取li下面的a节点，是li的儿子节点，这时候：//ul[contains(@class,"person-card-list")]/lia/p[contains(@class,"assoicated-link-title")]/text()不要在a前面加//或者是/加//的话还是根据的整个页面进行提取的，不是基于l...

原创 通过git创建本地库提交代码到git地址上的步骤（使用pycharm

这一步就相当于进入文件夹，执行git init命令git commit命令提交本地库然后git add 命令添加远程的分支，接口最后通过，git push 命令即可提交代码1:git init2:git add .3: git commit -m "first commit"4:git remote add origin git地址5：...

原创 ssh key 的生成

windows电脑，进入用户目录下，有一个.ssh 的文件，git是通过ssh进行验证的ssh-keygen输入这个命令之后一路回车，然后就会生成然后通过这个文件就可以添加提交权限了...

原创 xpath 语法的注意点

注意 “/” 和“//"的区别，前者是父节点下所有的后继儿子节点而后者则是父节点下的所有子孙节点；

原创 mysql 创建虚拟字段创建index

SELECTn_table.property_id,n_table.address,now()ASlast_operation_date,n_table.lat,n_table.lon,n_table.beds,n_table.sqft,n_ta...

原创 python 程序调用过程

原创 统计学

核心是“由点概面”1：描述性统计学（descriptive statistics）2：类似于数据分析的过程：2：推断统计学相当于应用了，通过描述统计学的结果（数据分析过程）做推断统计（类似于AI建模的过程）3：统计学的应用：人口统计学：政府方向的应用医药领域，比如死亡时间预测；金融统计学：量化交易（炒股）大数据：分析用户行为，做推荐系统（...

转载 tcp为什么是三次握手，而不是两次

TCP 为什么三次握手而不是两次握手（正解版）2018年09月19日 19:10:58萧萧冷阅读数：4332版权声明：本文为博主学习笔记， 注明来源情况下随意转载 https://blog.csdn.net/lengxiao1993/article/details/82771768参考文章Why do we need a 3-way handshake? Why not ju...

原创 problems

1:使用django 的orm bulk_create 的时候，加上异步，数据会漏存2：使用django的orm直接将一个很大型的表读出来的时候，内存直接会不够用，将django进程kill掉...

转载 postgresql查看某一个表的进程

SELECT * FROM pg_stat_activity where query ~ 't_user_info';有时候如果发现某一个表锁住了，可以找到对应的进程，用如下命令中断进程：select pg_terminate_backend('pid');https://blog.csdn.net/hjh872505574/article/details/88061763...

原创 django 内存不足时会被kill掉

并没有出现这种情况，是人为的kill

原创 problem

1：关于怎样判别最后一个item的问题：可以通过start_url 中的最后一条进行判断，如果，start_url 中的url只是其实的，你可以先拿到最后一条的最后一页的那一页页号，然后在spider中声明一个类变量，先设置未False ，然后在条件触发是设置成为True，最后在pipeline中判断。2：关于构建异步数据处理的带来的数据存储滞后问题:需要在spider 关闭的...

原创 pymysql.err.OperationalError: (1213, 'Deadlock found when trying to get lock; try restarting transac

这是由于多个事务进行提交操作的时候容易发生死锁的情况，所以需要一个一个的进行操作也就是说，对于一个事务，最好就commit一次，不要统一到一次提交；，虽然说这样会浪费一些时间，但是安全；...

原创 数组下标问题

python 在用切片的时候最后一个是不包含的；list_test = [0,1,2,3,4,5,6,7,8,9]list_test[0,2]2 下标是不包含的，所以只取到0，1两个数

原创 mysql 坑 python

在python 中用executemany 的时候，sql语句错了是不报错的，如果发现数据没有被插入到数据库，最好检查以下sql语句

原创 python json 坑

当一个json字符串继续进行dumps的时候，dumps了多少次，你就必须loads相应+1 次的次数才能变成dict类型；在flask的网络传输中，不受影响，之后loads一次就可以了，在django网络传输中就受影响，需要loads相应的次数才能变成dict数据；...

原创 问题总结

1：git 的操作问题，如何在linux环境下用命令进行代码的更新上传操作（从github上）2：爬虫架构问题：如何构建一个可靠的分布式爬虫系统3：mysql操作问题：如何创建虚拟列，创建索引。高效的进行数据库操作；4：linux命令，常用命令（包括，rm，mv等），并且应该进一步了解一些高级的命令，如系统管理命令，防火墙配置命令，网络配置命令，以及各个linux发行版本，配置文件以及...

原创 mysql virtual column and create index

distinct 的使用我位置问题以及groupby出现的配置问题；SELECTn_table.property_id,n_table.address,now()ASlast_operation_date,n_table.lat,n_table.lon,n_table.beds,...

转载 mysql group_by 的问题

ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'DBname.table.id' which is not functionally dependent on columns in GROUP BY clause; this i...

原创 python 一切皆对象

1：一切皆对象2：type 、object和class的关系type可以生成一个类，并且能够返回一个数据类型的类型。type -》int-》1 ：生成顺序；type-》class-》obj ：object 是所有类都要继承的类；（是一个基类的一个概念；）object是顶层基类；type是一个类，同时也是一个对象最顶层的object基...

原创 python linux下安装

原创 scrapy

scrpay 中get请求的发送和post请求的发送方式是不同的；get：scrpay.Requestpost:scrapy.FormRequest;通过start_requests 重写spider的获取请求url的方法；

原创 pandas data.values

data = pd.DataFrame()data[key] 类型是pandas的series 类型的数据；而data[key].values 类型是numpy 的ndarray类型的数据；关于pandas数据的遍历：可以使用data.iterrows() 每一行是一个tuple 类似与数据库查询出的每一条结果；data.itemtuple...

转载 在pandas中遍历DataFrame行

在pandas中遍历DataFrame行2018年02月22日 21:54:05ls13552912394阅读数：52069有如下 Pandas DataFrame： import pandas as pd inp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}] df =...

原创 Python PIL

PIL 的一些方法：from PIL import image打开图片：分别做了格式转换，颜色替换；

转载 Python图像处理库PIL的基本概念介绍

Python图像处理库PIL的基本概念介绍2016年02月09日 22:02:20icamera0阅读数：14066标签：pythonpil概念更多个人分类：图像处理所属专栏：Python图像处理库PIL从入门到精通版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/icamera0/article/details/506...

转载 PIL

Python图像处理库PIL的基本模块介绍置顶2016年02月11日 21:40:07icamera0阅读数：11116更多所属专栏：Python图像处理库PIL从入门到精通版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/icamera0/article/details/50651926PIL有如下几个模块：Image模块...

转载 PIL 模式介绍

调色板只有图片的颜色小于等于256色的时候才有,16位高彩和24位32位真彩是没有调色板的.调色板的存在的意义只是在当初486以前为了节省空间的一种采用索引的压缩算法,现在没有人这种东西。调色板是为了节约空简所用的，相当于一个索引。...

转载 tensorflow中的一些函数 tf.reduce,tf.argmax,tf.equal

tensorflow中 tf.reduce_mean函数2018年04月03日 08:44:42-牧野-阅读数：18695版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/dcrmg/article/details/79797826tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均...