Bobby_test-CSDN博客

原创如何用python自动签到

好久不见，今天在下带来的是自动签到的小软件，由python2写就需要的库有：seleniumpip install selenium另外需要下载chromedriver（一个模拟chrome的浏览器，不大，5M）官方地址：http://chromedriver.chromium.org/downloads下载后是一个.zip，解压后是一个chromedriver.exe，放置的目录索引请记好。fr...

2018-06-13 17:06:38 1821

原创爬虫感触

此文是作者记录这段时间以来，写爬虫代码的经历和感触，类似日记的玩意儿，具体技术有指明一些方向，看客随意。最开始的时候，我是学着一篇贴吧的爬虫写的，其实都不算是写，应该是copy。这份启蒙代码我是放在jupyter上的，算上注释，一百行出头。用的是requests和BeautifulSoup这两个库。copy完了后我非常仔细地观察了每行代码，结合着爬取的结果，再结合着观察网页，看懂了每一行代码什么意...

2018-05-25 23:39:02 378

原创如何连接Hive存储数据

Hive是Hadoop下的数据库，在机器上我们都用hadoop fs -XXX 的命令来模拟terminal，但是XXX能像自己电脑terminal上取'mysql'一样等于'Hive'吗？你看，'fs'的含义是“文件系统”，那自然跟数据库不搭嘎，XXX自然就不能是'hive'。其实很简单，你需要在你的Namenode上，输入以下命令（前提是你确定有Hive）cd $HIVE_HOMEbin/h...

2018-05-15 18:58:05 3241

原创联机分析处理(OLAP)系统与联机事务处理(OLTP)系统的区别

这次在下介绍的是OLAP与OLTP的概念，以及它们为什么要分开。如有谬误，还请斧正。OLTP与OLAP的概念：我们平时使用的数据库是关系型数据库，也是一种操作型数据库。联机操作型数据库，是指利用网络连接不同地理位置的操作型数据库。联机事务处理（OLTP）系统，是指执行联机事务和查询处理的联机操作数据库系统。OLTP主要完成库存、记录、查询等事务。而另一方面，还存在一种数据库，它用于存储集成的、过往...

2018-05-04 12:05:29 4103

原创 python查看cookie

用到库 selenium + phantomjsCookie 是由 Internet 站点创建的、将信息存储在计算机上的文件，例如访问站点时的首选项。例如，如果你在taobao的站点上查阅了航班时刻表，该站点可能就创建了包含你的旅行计划的 Cookie。也可能只记录了你在该站点上曾经访问过的页面，由此帮助你下次访问该站点时自定义查看。下面的内容写了如何在登录账号的时候获取某个网站发来的cookie...

2018-04-24 22:34:14 573

原创在关闭shell时不关闭远程服务的解决方案

远程开发的时候遇见了这样的问题：shell使用ssh连接远程机器以后，在上面执行了某条命令，远程开始了服务，若是这条命令会花很长时间，但是我现在因为某些原因不得不关闭shell，如果直接关闭shell，就会导致远程机器也停止刚才开始的服务。怎么回事呢？是因为远程执行的是子进程，shell是父进程。而子进程不能没有家长。你懂我意思吧。解决方案就是创建一个父进程给远程机，‘nohup’(no hang...

2018-04-13 13:32:48 1193

原创论坛中动态更新的评论爬取（Python3）

这次是有关爬虫的内容，主要是写一些本人在其过程中遇到的坑和解决办法，毕竟菜鸡，还是有很多要学习的。如有谬误，还请斧正。如有建议，还望赐教。如有问题，欢迎讨论。正文我觉得写爬虫是一个吃力不讨好的活，对不同的网站要写不同的虫，对不同的网页要写不同的虫，对动态静态的内容要考虑不同的实现方案，动态内容还写成增量虫（菜鸡自定义的呵呵），啊其中还掺杂各种格式统一，找tags，找head...

2018-04-12 12:54:53 1258

原创 Mac终端启动很慢解决方案

我用了很久的Mac，Mac上操作最多的就是终端（terminal）了，现在也在用iterm，确是个很舒服的终端软件分别是这个样子的：妈蛋图片不能缩小点吗(╯‵□′)╯︵┻━┻很漂亮是不是！反正我觉得很漂亮，尤其是terminal的原谅绿加半透明的背景色。咳咳不好意思，今天的重点不是漂不漂亮，是——如何解决终端启动缓慢的问题。查阅了很多资料，原因有两种可能（我只看到这两种）：第一，也是一般情况，即t...

2018-03-24 00:07:36 10373

原创 crontab使用笔记

初衷是想着写一下笔记，但是存电脑感觉很少会去看，而且太随意了，于是存在这里，其它有兴趣的朋友也能看到。这次记录一下crontab的使用方式。什么是crontab？crontab(cron table) 是Linux上面一个调度文件的小软件，使用终端就可以进行操作，非常小巧精致。安装crontab：终端键入 yum install -y vixie-croncrontab调用方法：终端键入 serv...

2018-03-19 15:45:22 360

原创 kaggle泰坦尼克实例学习笔记

一、内容介绍：这一实例要求如下，在失事的泰坦上面，有若干乘客，公司有这些乘客的基本信息，比如年龄，性别等。泰坦虽然沉了，但是仍然有乘客得以逃生，题目将所有乘客分为两类（活下来的以及失事的），给出了另外一项数据就是此人存活与否。实例要求我们，根据这次事件的乘客数据和存活数据进行分析预测，判断接下来给出的四百多名乘客能否存活。

2018-01-31 18:17:25 829

原创优化：4数平方和之积转换为2数平方之和

遇到一道题，描述是这样的：给定四个整数（可正可负）a,b,c,d。其中，a，b一组，c，d一组，以下面的方式计算得到一个值：X = (a*a+b*b)*(c*c+d*d)要求出另外的能组成X的两个整数e,f，满足以下条件：e*e+f*f = X另外，要求e,f 中至少有一个必须是 |a*c+b*d| 和 |a*c-b*d| 中的数。最后返回成对的(e,f)以上。我的

2017-10-21 10:44:30 733 2

Bobby_world的博客