探索性分析
guimaster
为开源与互助贡献自己的一小份力量
展开
-
我的数据工具学习之旅
r python tableau的定位与分工原创 2017-03-18 12:40:40 · 452 阅读 · 0 评论 -
好东西积累起来
关于代理IP app爬取 其他工具 ip代理池 :https://github.com/Python3WebSpider/ProxyPool Charles 从入门到精通 - 唐巧的技术博客:https://juejin.im/entry/56488b7660b20fc9b9c2f0be Fiddler抓包简易教程: https://www.jianshu.com/p/9e05a25227...原创 2018-03-22 21:17:04 · 260 阅读 · 0 评论 -
爬虫练成之 analyst 和 engineer 技术与业务
写这篇文章是因为近期研究技术遇到了一些问题,感觉应该定一个边界:研究技术到底是要成为engineer还是analyst,这是一个根本问题。同时也放弃了对excel的怀疑! analyst是要获取洞见,数据是必要的一步,凡事总不能完全靠别人,自己懂一些数据获取的技术是非常必要的,并且一旦有了成熟的数据模型,也非常方便和工程师交流,非常清晰告知工程师自己想要什么(ps:这次做系统,前端告诉我分享页面...原创 2018-04-01 18:37:49 · 280 阅读 · 0 评论 -
路漫漫其修远矣 - 关于内容解析 与 存储
用scrapy框架后,很多访问问题解决了,css解析也非常方便,于是要将之前关注的一个网站爬下来放到mysql里面,然后用tableau接上,这样就可以长期自动监测了。但过程非常坎坷,一直到现在也没有解决问题,但经过探索,好在发现了问题。 问题描述:爬取一个网站,一个页面却多次返回数据,并且无法写入mysql,但是放到json工具读取后发现没问题。于是不知道什么情况,甚至认为mysql的问题。 ...原创 2018-04-04 12:12:16 · 238 阅读 · 0 评论 -
做产品延伸的方法论
总结一下学习的方法论,编程思想的是不是可以说是函数式编程?各种专业本身知识体系是一个函数,快速学习各种专业的又把这些再次抽象出来,其实之前一直想写一篇,借着这次做系统遇到的问题整理出来。 问题:此次做系统是自己投资,完全免费,因此预算有限,找了一个后端,这个后端推荐了一个前端,工作划分是前端完成原型、coding这些,但原型一出来发现三大问题: 1,界面几乎没有美感,而且主题完全不统一。 2...原创 2018-04-12 18:51:36 · 512 阅读 · 0 评论