weixin_38859557的博客

原创 problem

1：关于怎样判别最后一个item的问题：可以通过start_url 中的最后一条进行判断，如果，start_url 中的url只是其实的，你可以先拿到最后一条的最后一页的那一页页号，然后在spider中声明一个类变量，先设置未False ，然后在条件触发是设置成为True，最后在pipeline中判断。2：关于构建异步数据处理的带来的数据存储滞后问题:需要在spider 关闭的...

原创 pymysql.err.OperationalError: (1213, 'Deadlock found when trying to get lock; try restarting transac

这是由于多个事务进行提交操作的时候容易发生死锁的情况，所以需要一个一个的进行操作也就是说，对于一个事务，最好就commit一次，不要统一到一次提交；，虽然说这样会浪费一些时间，但是安全；...

原创 数组下标问题

python 在用切片的时候最后一个是不包含的；list_test = [0,1,2,3,4,5,6,7,8,9]list_test[0,2]2 下标是不包含的，所以只取到0，1两个数

原创 mysql 坑 python

在python 中用executemany 的时候，sql语句错了是不报错的，如果发现数据没有被插入到数据库，最好检查以下sql语句

原创 python json 坑

当一个json字符串继续进行dumps的时候，dumps了多少次，你就必须loads相应+1 次的次数才能变成dict类型；在flask的网络传输中，不受影响，之后loads一次就可以了，在django网络传输中就受影响，需要loads相应的次数才能变成dict数据；...

原创 问题总结

1：git 的操作问题，如何在linux环境下用命令进行代码的更新上传操作（从github上）2：爬虫架构问题：如何构建一个可靠的分布式爬虫系统3：mysql操作问题：如何创建虚拟列，创建索引。高效的进行数据库操作；4：linux命令，常用命令（包括，rm，mv等），并且应该进一步了解一些高级的命令，如系统管理命令，防火墙配置命令，网络配置命令，以及各个linux发行版本，配置文件以及...

原创 mysql virtual column and create index

distinct 的使用我位置问题以及groupby出现的配置问题；SELECTn_table.property_id,n_table.address,now()ASlast_operation_date,n_table.lat,n_table.lon,n_table.beds,...

转载 mysql group_by 的问题

ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'DBname.table.id' which is not functionally dependent on columns in GROUP BY clause; this i...

原创 python 一切皆对象

1：一切皆对象2：type 、object和class的关系type可以生成一个类，并且能够返回一个数据类型的类型。type -》int-》1 ：生成顺序；type-》class-》obj ：object 是所有类都要继承的类；（是一个基类的一个概念；）object是顶层基类；type是一个类，同时也是一个对象最顶层的object基...

原创 python linux下安装

原创 scrapy

scrpay 中get请求的发送和post请求的发送方式是不同的；get：scrpay.Requestpost:scrapy.FormRequest;通过start_requests 重写spider的获取请求url的方法；

原创 pandas data.values

data = pd.DataFrame()data[key] 类型是pandas的series 类型的数据；而data[key].values 类型是numpy 的ndarray类型的数据；关于pandas数据的遍历：可以使用data.iterrows() 每一行是一个tuple 类似与数据库查询出的每一条结果；data.itemtuple...

转载 在pandas中遍历DataFrame行

在pandas中遍历DataFrame行2018年02月22日 21:54:05ls13552912394阅读数：52069有如下 Pandas DataFrame： import pandas as pd inp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}] df =...

原创 Python PIL

PIL 的一些方法：from PIL import image打开图片：分别做了格式转换，颜色替换；

转载 Python图像处理库PIL的基本概念介绍

Python图像处理库PIL的基本概念介绍2016年02月09日 22:02:20icamera0阅读数：14066标签：pythonpil概念更多个人分类：图像处理所属专栏：Python图像处理库PIL从入门到精通版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/icamera0/article/details/506...

转载 PIL

Python图像处理库PIL的基本模块介绍置顶2016年02月11日 21:40:07icamera0阅读数：11116更多所属专栏：Python图像处理库PIL从入门到精通版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/icamera0/article/details/50651926PIL有如下几个模块：Image模块...

转载 PIL 模式介绍

调色板只有图片的颜色小于等于256色的时候才有,16位高彩和24位32位真彩是没有调色板的.调色板的存在的意义只是在当初486以前为了节省空间的一种采用索引的压缩算法,现在没有人这种东西。调色板是为了节约空简所用的，相当于一个索引。...

转载 tensorflow中的一些函数 tf.reduce,tf.argmax,tf.equal

tensorflow中 tf.reduce_mean函数2018年04月03日 08:44:42-牧野-阅读数：18695版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/dcrmg/article/details/79797826tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均...

转载 mysql sql_mode=only_full_group_by

安装了mysql5.7，用group by 查询时抛出如下异常：Expression #3 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'userinfo.t_long.user_name' which is not functionally dependent on columns in...