自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

京东放养的爬虫

努力成为一个优秀的人,我在北京要活的精彩。

  • 博客(44)
  • 资源 (2)
  • 问答 (2)
  • 收藏
  • 关注

原创 程序员如何看待实力与运气

来自漫谈程序员系列你心里不屑地冒出这句话:标题党,可耻的标题党! OK ,既然你来了,我们就开始吧。    每个人的身边都有牛人。也许这句话不大准确,应该这么说:每个人的身边都有比自己牛13的人。就这么着吧,寂寞的高高手,也不会来这里看我扯淡,所以就算是无懈可击了吧。    那么,问题来了:为什么别人比我们牛呢?为什么别人运气好呢?气死我啦 

2015-06-27 18:11:59 1659

原创 Socket套接字通信原理

Socket套接字通信原理Tcp/IP协议关系图  Socket在哪里? 原来Socket在这里Socket是什么呢?       Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口.在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单

2015-06-27 17:20:44 1344

原创 C++面试必备,概念解析

1.C和C++中struct有什么区别?1> C++中的struct类似于class,有变量,有构造函数、虚函数等,有继承,多态等类的特征;2> C中的struct只有变量,不能有函数,但是可以有函数指针2.C++中的struct和class有什么区别?在C++中,两者区别不大,但是有2个主要的区别1>. 继承权限:str

2015-06-27 17:04:53 2573

原创 关于程序员学英语的经验

还记得雷军在印度发布会上的英语首秀吗?或被调侃发音不准,但总的来说,程序员可算是英语水平比较好的群体,因为在这个行业,英文资料是最全面、最及时,对英文资料的需求也最迫切的。因此,就我的观察,即便刚入门不久的程序员,面对陌生的问题,一般也能查阅英文文档,找到需要的信息。但是另一方面,我也发现,经常阅读英文文档的程序员,英语水平许多时候却不像“经常阅读英文”的样子。我在这里列几点自己的学习心得,供大家

2015-06-27 16:10:52 1870

原创 一个优秀的程序员需要擅长数学吗

来自DevStore成为优秀的程序员,我需要擅长数学吗?相信很多年轻的程序员也问自己同样的问题。在浏览相关话题时,出现的答案模式被归结为以下三个主要类别:  · 需要  · 不需要  · 看情况貌似「需要」和「不需要」经常带有个人主观偏见,反而显得有点儿草率的反应综合征。为了成为一名优秀的程序员,一个人是否需要擅长数学的问题,可以从哲学和技术两个方面解答

2015-06-27 16:07:57 2091

原创 菜鸟的mongoDB学习---(五)MongoDB的limit、skip、sort方法

limit方法如果你需要在MongoDB中读取指定数量的数据记录,可以使用MongoDB的Limit方法,limit()方法接受一个数字参数,该参数指定从MongoDB中读取的记录条数。mongo #进入mongoDBuse NewsDB #选择NewsDBdb.new.find().limit(5) #列出前5条文档 注:如果你们没有指定limit()方法中的参数则显示

2015-06-27 11:53:19 1851

原创 大数据告诉你:程序员如何涨薪水

来自devstore美国队长:这怎么知道?国防军官:这怎么不知道,21世纪就是本数码书。佐拉教会九头蛇怎么去读它,你的银行记录、病例、投票模式、电子邮件、通话信息、还有大学成绩单...左拉的算法会评估人们的过去,然后预测他们的未来。——《美国队长2》听起来很玄乎,但事实是我们真的正在进入“大数据时代”,支付宝最新上线的“芝麻信用分”就是一个例子。芝麻分的背后是芝麻信用对海量

2015-06-25 13:22:03 6010

原创 菜鸟的mongoDB学习---(四)MongoDB条件操作符

条件操作符用于比较两个表达式并从mongoDB集合中获取数据。MongoDB中条件操作符有:(>) 大于 - $gt((>=) 大于等于 - $gte(> db.new.find({"age":{$gt:22}})#查找age大于22的文档> db.new.find({"age":{$lt:22}})#查找age小于22的文档> db.new.find({"age":{$g

2015-06-23 18:31:25 1457

原创 关于腾讯微博之死,离职员工所了解的真相

来自http://blog.csdn.net/u011225629/article/details/46601839注:腾讯微博做为内部一款战略意义的业务,度过了疯狂扩张布局之后还是黯然退出了舞台,在复盘其业务消退原因之时,还需听听内部员工如何看待。以下为转自腾讯微博离职员工李阳的微信公众号:veyronli2011 年加入腾讯前,我直接没有考虑去聊聊新浪微博。因为我觉得腾讯微博其

2015-06-23 11:54:28 1718

原创 全栈工程师?给把瑞士军刀你去砍鬼子好不好!?

来自www.techgogogo.com编者注:本文来自Medium前三名推荐文章,发文时已经获得高达2,125个推荐,中文版由天地会珠海分舵编译。全文对当今风靡业界的“全栈xx师“的说法给以抨击,提出了自己独到的观点。人家庖丁解牛时候就没有听说过用的是瑞士军刀;古人杀鸡的时候也焉用牛刀;一个专业的刀客,用的绝对不是周星驰的那把杀猪刀…现在到处都在提出说自己公司诚招一个全栈xx师,

2015-06-23 11:43:28 1440

原创 菜鸟的mongoDB学习---(三)MongoDB 的增、删、改、查(insert、remove、update、find)

插入 insertMongoDB中文档的数据结构和JSON基本一样。所有存储在集合中的数据都是BSON格式。BSON是一种类json的一种二进制形式的存储格式,简称Binary JSON。首先我们先选择数据库> use NewsDBswitched to db NewsDB> 下面我们先定义一个文档> document = ({"name":"jingdong","a

2015-06-23 10:27:56 2207 1

原创 两款高性能并行计算引擎Storm和Spark比较

来自http://blog.csdn.net/iefreer/article/details/32715153Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使得迭代算法

2015-06-19 09:51:22 1628

原创 ubuntu定时执行任务crontab的使用

crontab单词的意思是:定时任务。看看百科定义[完整定义]:crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。该词来源于希腊语 chronos(χρόνος),原意是时间。通常,crontab储存的指令被守护进程激活, crond常常在后台运行,

2015-06-19 09:31:11 1629

原创 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.

启动mongodb时提示下方信息Server has startup warnings: 2015-06-18T17:20:17.944+0800 I CONTROL [initandlisten] 2015-06-18T17:20:17.944+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_

2015-06-18 17:27:37 8910

原创 菜鸟的mongoDB学习---(二)MongoDB 数据库,对象,集合

数据库一个mongodb中可以建立多个数据库。MongoDB的默认数据库为"db",该数据库存储在data目录中。在MongoDB中可以创建数据库,如果你想使用MongoDB,创建数据库不是必要的。"show dbs" 命令可以显示所有数据的列表。deng@deng-Lenovo:~$ mongoMongoDB shell version: 2.0.4connecting

2015-06-18 16:41:26 2410 1

原创 菜鸟的mongoDB学习---(一)安装与简介

什么是NoSQL?NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。为什么使用NoSQL ?今天我们可以通过第三方

2015-06-18 14:16:11 1887

原创 scrapy爬虫必需品--------xpath学习

XPath 路径表达式XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。节点在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点

2015-06-18 11:38:53 1871

原创 PyCon 2014:机器学习应用占据Python的半壁江山

来自http://www.infoq.com/cn/news/2014/07/pycon-2014今年的PyCon于4月9日在加拿大蒙特利尔召开,凭借快速的原型实现能力, Python在学术界得到了广泛应用。最近其官方网站发布了大会教程部分的视频和幻灯片,其中有很多(接近一半数量)跟数据挖掘和机器学习相关的内容,本文对此逐一介绍。如何形式化一个科学问题然后用Python进行分析

2015-06-17 16:27:44 1519

原创 机器学习最佳入门学习资料汇总

来自http://article.yeeyan.org/view/22139/410514这篇文章的确很难写,因为我希望它真正地对初学者有帮助。面前放着一张空白的纸,我坐下来问自己一个难题:面对一个对机器学习领域完全陌生的初学者,我该推荐哪些最适合的库,教程,论文及书籍帮助他们入门?资源的取舍很让人纠结,我不得不努力从一个机器学习的程序员和初学者的角度去思考哪些资源才是最适合他们的

2015-06-17 15:53:51 1490

原创 ubuntu安装和配置git

Git 的工作需要调用 curl,zlib,openssl,expat,libiconv 等库的代码,所以需要先安装这些依赖工具。在有 yum 的系统上(比如 Fedora)或者有 apt-get 的系统上(比如 Debian 体系),可以用下面的命令安装:$ sudo apt-get install libcurl4-gnutls-dev libexpat1-dev gettex

2015-06-16 15:13:08 1596

转载 漫谈选人与培训

很喜欢其中的技能、知识、才干理论。最近终于有时间来翻看《首先,打破一切常规》(First, Break All the Rules)了,感慨良多啊。真后悔之前公司发这本书时把它封印起来。    先看看书中提到的优秀经理们的座右铭吧:人是不会改变的。不要为填补空缺而枉费心机。而应多多发挥现有优势。做到这一点已经不容易了。    其实很简单的道理,我们都忽略了。在实

2015-06-15 16:23:24 1225

原创 巨头间的战争,我眼中的的“淘宝为什么屏蔽百度抓取”

来自http://news.paidai.com/12967作者:芜湖SEO舒扬  1.现状和思考   现在,如果在百度里搜索淘宝网,您所看到的结果应该是这样的,“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”这种情况只在使用百度搜索时出现,因为淘宝只针对百度Baiduspider屏蔽,简单点说,除了淘宝网首页,理论上无法在百度中搜索到其他

2015-06-12 15:06:48 3778

原创 MongoDB查询命令详解

1、查询所有记录复制代码代码如下:db.userInfo.find();相当于:select* from userInfo;默认每页显示20条记录,当显示不下的情况下,可以用it迭代命令查询下一页数据。注意:键入it命令不能带“;”但是你可以设置每页显示数据的大小,用DBQuery.shellBatchSize= 50;这样每页就显示50条记录了。2、查询去掉后

2015-06-12 12:35:10 1534

原创 【干货】国外程序员整理的 C++ 资源大全

关于 C++ 框架、库和资源的一些汇总列表,由 fffaraz发起和维护。内容包括:标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。标准库C++ Standard Library:是一系列类和函数的集合,使用核心语言编写,也是C++ISO自身标准的一部分。Standard Template Library:标准模板库C POSIX lib

2015-06-12 09:13:17 1642

原创 Linux 文件内容查看命令

Linux系统中使用以下命令来查看文件的内容:    cat  由第一行开始显示文件内容    tac  从最后一行开始显示,可以看出 tac 是 cat 的倒著写!    nl   显示的时候,顺道输出行号!    more 一页一页的显示文件内容    less 与 more 类似,但是比 more 更好的是,他可以往前翻页!    head 只看头几行

2015-06-11 10:46:30 1537

原创 linux处理目录的常用命令

接下来我们就来看几个常见的处理目录的命令吧:    ls: 列出目录    cd:切换目录    pwd:显示目前的目录    mkdir:创建一个新的目录    rmdir:删除一个空的目录    cp: 复制文件或目录    rm: 移除文件或目录    mv (移动文件与目录,或修改名称)    你可以使用 man [命令] 来查看各个命令的使

2015-06-11 10:24:18 1222

原创 Linux 文件基本属性

Linux系统是一种典型的多用户系统,不同的用户处于不同的地位,拥有不同的权限。为了保护系统的安全性,Linux系统对不同的用户访问同一文件(包括目录文件)的权限做了不同的规定。       在Linux中我们可以使用ll或者ls –l命令来显示一个文件的属性以及文件所属的用户和组,如:deng@deng-Lenovo:~$ ls -l总用量 56drwxrwxr-x 6

2015-06-11 09:52:09 1635 2

原创 ubuntu 忘记密码,忘记root密码的解决办法

ubuntu的root默认是禁止使用的,在安装的时候也没有要求设置root的密码。要使用,给root设置密码就行了,sudo passwd root 。如果只是普通用户密码忘了,用root就可以修改。如果root密码忘了就进入单用户模式。进入单用户模式:  1,在开机引导到GRUB等待界面(GRUB loading, please wait…)这里的时候按下ESC键来进入启动菜单,

2015-06-10 18:11:06 1996

原创 Linux 系统目录结构

登录系统后,在当前命令窗口下输入命令:ls /你的终端上会出现如下的代码:deng@deng-Lenovo:~/文档$ ls /bin dev initrd.img lib64 mnt root selinux tmp vmlinuzboot etc initrd.img.old lost+found opt run s

2015-06-10 17:57:27 1201

原创 Linux 系统启动过程

Linux系统的启动过程并不是大家想象中的那么复杂,其过程可以分为5个阶段:      1.  内核的引导。      2.  运行init。      3.  系统初始化。      4.  建立终端 。      5.  用户登录系统。内核引导      当计算机打开电源后,首先是BIOS开机自检,按照BIOS中设置的启动设备(通常是硬盘)来启动。操作系

2015-06-10 17:28:26 1290

原创 利用scrapy抓取网易新闻并将其存储在mongoDB

好久没有写爬虫了,写一个scrapy的小爬爬来抓取网易新闻,代码原型是github上的一个爬虫,最近也看了一点mongoDB,顺便小用一下,体验一下NoSQL是什么感觉。言归正传啊,scrapy爬虫主要有几个文件需要修改。这个爬虫需要你装一下mongodb数据库和pymongo,进入数据库之后,利用find语句就可以查看数据库中的内容,抓取的内容如下所示:{ "_id" : ObjectId

2015-06-10 10:54:36 4958

转载 Linux中的AIO(异步I/O asynchronous I/O )

Linux中最常用的输入/输出(I/O)模型是同步 I/O。在这个模型中,当请求发出之后,应用程序就会阻塞,直到请求满足为止。这是很好的一种解决方案,因为调用应用程序在等待 I/O 请求完成时不需要使用任何中央处理单元(CPU)。但是在某些情况中,I/O 请求可能需要与其他进程产生交叠(并行)。可移植操作系统接口(POSIX)异步 I/O(AIO)应用程序接口(API)就提供了这种功能。在

2015-06-09 14:41:37 1610

转载 IO中同步、异步与阻塞、非阻塞的区别

一、同步与异步同步/异步, 它们是消息的通知机制1. 概念解释A. 同步所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。按照这个定义,其实绝大多数函数都是同步调用(例如sin isdigit等)。但是一般而言,我们在说同步、异步的时候,特指那些需要其他部件协作或者需要一定时间完成的任务。最常见的例子就是 SendMessage。该函数

2015-06-09 14:39:39 1139

原创 思维导图在Ubuntu下的安装与使用

FreeMind是一款跨平台的、基于GPL协议的自由软件,用Java编写,是一个用来绘制思维导图的软件。其产生的文件格式后缀为.mm 。可用来做笔记,脑图记录,脑力激汤等Ubuntu下只需要在终端输入$ sudo apt-get install freemind即可安装,如果出现类似于下面这样的错误:Checking Java Version...| java.io.Fil

2015-06-09 09:44:30 6038

原创 ubuntu怎么打开.7z和.rar的压缩文件

通过 sudo apt-get install p7zip-rar就会自动安装p7zip-full和p7zip-rar两个软件。之后就可以通过鼠标右键选择 提取到此处 直接解压压缩文件。deng@deng-Lenovo:~$ sudo apt-get install p7zip-rar[sudo] password for deng: 正在读取软件包列表... 完成正在分析软件包的依

2015-06-09 09:18:00 1878

原创 python中pip的使用和安装

Ubuntu下安装pip的方法 安装pip的方法:Install pip and virtualenv for Ubuntu 10.10 Maverick and newer $ sudo apt-get install python-pip python-dev build-essential $ sudo pip install --upgrade pip $ su

2015-06-08 11:16:08 1579

原创 MongoDB查询、索引和聚合

初始化mongodb数据库> use dengswitched to db deng> db.createCollection("jingdong") #无参数{"ok":1}> show collectionsjingdongsystem.indexes> userdoc1=({"user_id":1,"name":"cloud","state":"act

2015-06-07 13:53:01 1942

原创 MongoDB数据库更新和删除文档

创建集合 createCollection()name:创建的集合名称options:是一个作为初始化的文档(可选)> db.createCollection("jingdong") #无参数{ "ok" : 1 }> show collectionsjingdongsystem.indexes> db.createCollection("jing

2015-06-06 21:25:26 1486

原创 MongoDB查询语句简要分析

find() 语句启动MongoDB服务,因为mongoDB并不随系统一起启动,可能以下命令运行后会等一小段的时间才会启动完毕。sudo service mongodb start进入MongoDB命令行操作界面,在命令行中敲exit可以退出mongofind() 用法:db.COLLECTION_NAME.find()> use post #创建post数

2015-06-06 20:35:24 1531

原创 MongoDB数据库基础教程

MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。  MongoDB 中,一个数据库包含多个集合,类似于MySql中一个数据库包含多个表;一个集合包含多个文档,类似于MySql中一个表包含多条数据。 启动MongoDB服务,因为mongoD

2015-06-06 00:38:40 1311

数电报告莫版

数电报告莫版

2012-07-12

数电课件科技

数电课件

2012-07-12

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除