排序:
默认
按更新时间
按访问量

Scrapy简介

Scrapy 框架 Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬...

2017-10-08 21:29:10

阅读数:175

评论数:0

Word2Vector

Word2vec 词向量的概念 将 word映射到一个新的空间中,并以多维的连续实数向量进行表示叫做“Word Represention” 或 “Word Embedding”。自从21世纪以来,人们逐渐从原始的词向量稀疏表示法过渡到现在的低维空间中的密集表示。用稀疏表示法在解决实际问题时经常...

2017-10-08 18:28:32

阅读数:97

评论数:0

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例 背景        Hadoop2.7.0在虚拟机上安装完成,core-site.xml中配置的fs.defaultFS 端口为9000。 1 新建maven项目 2 配置pom.xml 由于我虚拟...

2017-01-18 10:26:59

阅读数:3505

评论数:1

Hadoop2.7.0安装问题

Hadoop2.7.0安装问题 HDFS Web页面DataNodes 显示问题 当安装成功后,各个节点JPS均正常,在HDFS的Web页面的Overview页面显示Live Nodes的个数为3,但是在具体细节的Datanodes页面只有一个,具体如下: 以上...

2017-01-17 09:02:30

阅读数:394

评论数:0

Hadoop2.7 安装

Hadoop2.7 安装 参考:http://www.linuxidc.com/Linux/2015-01/112029.html 机器准备 192.168.72.130 master 192.168.72.131 slave1 192.168.72.132 slave2 19...

2017-01-16 15:22:15

阅读数:186

评论数:0

协同过滤算法

协同过滤算法 算法介绍 关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那么通常的做法就是问问周围的朋友,看看最近有什么好的电影推荐。在问的时候,都习惯于问跟自己口味差不多的朋友,这就是协同过滤的核心思想。    协同过滤是在海量数...

2017-01-14 14:14:03

阅读数:310

评论数:0

First Head-设计模式:代理模式

代理模式 定义 代理模式为另一个对象提供一个替身或占位符以控制对这个对象的访问。 需求 糖果机经理想要查看糖果的运行状态,但是真正的糖果机并不想让经理看到别的实现,所以通过远程代理访问某个方法。 传统设计 判断产看人的权限,然后大量if语句来判断是否...

2017-01-10 16:54:09

阅读数:2635

评论数:0

First-Head 设计模式:状态模式

状态模式 定义 状态模式允许对象在内部状态改变时改变它的行为,对象看起来好像修改了它的类。 需求 糖果机有多个状态,不同状态都有相应的办法,所以需要很多if条件,如果增加一个状态的话就需要改变所有的代码。 传统设计 对每个方法写四个if(如果有四个状...

2017-01-08 18:36:48

阅读数:2322

评论数:0

First-Head:迭代器模式和组合模式

迭代器模式 定义 迭代器模式提供一种方法顺序访问一个聚合对象中的各个元素,而又不暴露其内部的表示。 需求 煎饼屋和午餐店要合并,但是煎饼屋采用arraylist实现,午餐店采用数组实现,现在服务员要告诉顾客有哪些食品。 传统设计 两个for循环分别读...

2017-01-05 18:55:29

阅读数:2244

评论数:0

Frist Head-设计模式:模板方法模式

模板方法模式 定义 模板方法模式在一个方法中定义一个算法的骨架,而将一些步骤延迟到子类之中。模板方法使得子类可以在不改变算法结构的情况下,重新定义算法中的某些步骤。 需求 实现煮咖啡和煮茶,两者之间的步骤及其相似。 传统设计 将一样的步骤放在父类,不...

2016-12-29 20:00:31

阅读数:2100

评论数:0

First Head-设计模式:适配器模式和外观模式

适配器模式 定义 适配器模式将一个类的接口,转换成客户期望的另一个接口。适配器让原本不兼容的类可以无间合作。 需求 客户需要一只鸭子,但是没有鸭子,所以需要用火鸡来冒充。 传统设计 因为火鸡和鸭子是不同的类,所有无法适配。 Decorator...

2016-12-29 17:19:18

阅读数:1974

评论数:0

First Head-设计模式:命令模式

命令模式 定义 命令模式将"请求"封装成对象,以便使用不同的请求,队列或日志来参数化其他对象、命令模式也支持可撤销的操作。 需求 一个遥控器控制不同的多个设备开关,遥控器上有6个设备的所有开关(12个)加上一个撤销上一个操作的按钮,每个设备的开关等...

2016-12-29 16:07:19

阅读数:3096

评论数:0

Head First-设计模式:单件模式

单件模式 定义 单件模式确保一个类只有一个实例,并提供一个全局访问点。 需求 巧克力工厂使用锅炉制造巧克力,锅炉只能有一个实例。 传统设计 使用静态方法来保证一个实例。 Decorator模式 试用范围 当某个类只...

2016-12-29 14:45:26

阅读数:3083

评论数:0

数据结构与算法分析:算法设计技巧

算法设计技巧 贪婪算法 顾名思义,贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑,它所作出的选择只是在某种意义上的局部最优选择。当然,希望贪心算法得到的最终结果也是整体最优的。虽然贪心算法不能对所有问题都得到整体最优解,但对许多问题它能产生整体最优解。如单源最...

2016-12-27 17:48:23

阅读数:3356

评论数:0

数据结构与算法分析:图论

图论算法 定义 路径:由一个顶点序列使得这样一条路径。 环:路径,路径长为0,为环。 简单路径:不包含环,所有顶点是互异的,但是第一个和最后一个可以是相同的。 圈:满足的路径称为圈,若各该路径是简单路径,则为简单圈。 连通的无向图:无向图中的每个顶点之间都有路径。 ...

2016-12-27 14:51:30

阅读数:3057

评论数:0

Head First-设计模式:工厂模式

工厂方法模式 定义 工厂方法模式定义了一个创建对象的接口,但由子类决定要实例化的类是哪一个,工厂方法让类把实例化推迟到子类。 该方法通过子类继承来创建对象。 需求 披萨店有很多家分店,每个分店需要制作不同的风味的披萨,但是他们的制作过程是一样的。 传统设计 ...

2016-12-26 15:28:54

阅读数:2796

评论数:1

Head First-设计模式:装饰者模式

装饰者(Decorator)模式 定义 动态地将责任附加到对象上。若要扩展功能,装饰者提供了比继承更加有弹性的替代方案。 需求 咖啡店买饮料,有不同的的基本咖啡,Cappuccino和Latte,然后有各种不同的调料,比如sugar, milk, salt. 不同的...

2016-12-26 15:28:03

阅读数:2627

评论数:0

Head First-设计模式:观察者模式

观察者模式 定义 定义了一系列对象之间的一对多关系。当一个对象改变新状态,其他依赖者都会受到通知并自动更新。 需求 一个天气信息类,当天气信息发生变化是,会自动运行update()函数,此时,需要及时更新当前信息版,和未来预测版。  传统设计 ...

2016-12-26 15:27:12

阅读数:2522

评论数:0

Head First-设计模式:策略模式

策略(strategy)模式 定义 定义了算法簇,分别封装起来,让他们之间可以相互替换,此模式让算法的变化独立于使用算法的客户。 需求 鸭子类: 不同的鸭子不同外观 不同鸭子有些叫声一样,有些不一样 不同鸭子飞行方式可能不一样 ...

2016-12-26 15:26:16

阅读数:2440

评论数:0

Head First-设计模式:设计原则和设计评价

设计原则 找出应用中可能需要变化的部分,把它们独立起来,不要和那些不需要变化的代码混在一起。 针对接口编程,而不是针对实现编程。 多用组合,少用继承 低耦合高内聚 类应该对扩展开放,对修改关闭 设计评价 可复用 ...

2016-12-26 15:25:35

阅读数:2346

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭