networksu-CSDN博客

原创 python之pandas：10分钟 to pandas

pandas数据分析的第一步，一直有个疑问，有什么数据不能是SQL解决的。解决不了的，存储过程结果不了么？那我们为什么要学pandas，刚开始学。不敢说为什么要用pandas替换sql，初步感觉是，可以处理多种数据来源的数据。excel，csv，数据库等。但对于一般程序员从SQL转过来做数据分析的，更喜欢通过SQL和pandas的比较来记录学习过程。通过pandas的官网10 Minute...

2019-03-15 18:46:58 3317

原创 python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items

上面一篇介绍了scrapy抓取的大概架构，此篇文章针对一些技术问题进行展开说明。一、如何处理ASP.NET分页我们还是深圳房地产信息系统为例，因为之前一直是写ASP.NET的，.NET很多控件都是通过拖拽实现。很多代码可以省去编写过程，都是自动生成的。这里的下一页操作就是通过自动生成的js代码，scrapy框架是不能执行JS代码。但我们清楚他执行了_doPostBack函数，...

2018-12-21 14:53:39 3037 1

原创 python之scrapy:第一只spider

学习python一直的方向是想成为数据分析方向发展，但是数据分析是那种自己想学却比较需要环境的工作。一般在家自己学习数据分析得有很多的数据。那不如先从python最著名的爬虫功能学起。首先先从身边的自己进行需要的数据开始抓取，最终选择了深圳房地产信息系统，这是个对外的查询房产信息的系统。包括了房产的楼号、面积、产权信息。这些数据即贴近生活又有分析价值。ok，开...

2018-12-21 13:14:54 473

原创 python总结（1）：list、dict、tuple、set

list列表有序声明 datalist=[]增加数据 datalist.append(1)使用数据 datalist[0]删除数据 datalist.remove(0) 或默认删除最后一个datalist.pop() 并返回元素 Tuple元组有序声明 tup1=()使用数据 tup1[0]元组不能增加删除数据 set集合无序声明 ...

2018-11-27 18:27:56 180

原创 python(三)基于flask返回json数据接口：flask-sqlalchemy详细介绍

因为不关心前台页面的开发，前台工程师给我提供了一份json样式。让我实现，然后给出了筛选条件。还是接着上篇文章，将ORM这块仔细写写。这篇文章也将关于flask-sqlalchemy的总结，我会把用户遇到的格式问题都总结在这里面。我写博客的原则，用过什么写什么，没涉及的也不瞎写了。首先看前台工程师给我提供的json返回格式样例。大概就是以song为对象的list，里面有嵌着多对多关...

2018-11-23 01:21:30 11488 3

原创 python(二)基于flask返回json数据接口：目录结构、程序架构、flask、flask-sqlalchemy部署安装

上篇介绍了如何部署安装开发环境。从这篇开始详细描述一步步开发过程。python的web框架flask是个很轻量级的，安装方便，可是官方网站能提供的文档，不是很详细。我从头开始详细描述我本次的开发过程。数据库采用的Mysql，ORM框架采用的flask-sqlalchemy，flask-sqlalchemy是对于sqlalchemy框架的封装。更好的跟flask框架融合。之前开发公司项目一直...

2018-11-20 19:06:44 1136

转载 python(一)基于flask返回json数据接口：安装部署开发环境

干了3年的现场维护工程师、工程项目经理。部署了几次动环监控系统，调了无数的交换机。最终发现还是喜欢编程，从14年一直是.Net程序员，开发了公司内部使用的三个系统。无非就是一直在造轮子。EasyUi+Handler的方式，就是这样写了4年系统。当我发现想换工作的时候，我甚至不理解ORM框架，对LINUX也是一穷二白。正好这个时候接到一个活，用python开发，前台是VU...

2018-11-20 16:10:08 1216 1

原创 IIS配置HTTP响应标头导致的一系列问题

1现象1） EASYUI的DataGride嵌套在td中，但是随着滚轮的滑动，位置固定。2）调试的时候JSON.parse()方法可以正常使用但是，正式环境下不能正常识别。3）调试和发布以后出现各种差异，确定使用同一浏览器情况下。2解决办法：这是IIS中的IE内核配置错误导致的。在IIS配置里面找到相应项目-“HTTP响应标头”-“添加”名称：X-UA-Com

2017-07-20 16:30:49 5746

networksu的博客