ciang1989-CSDN博客

引言最近接触到一个新闻类网站的数据爬取项目，包括各大新闻网站，如网易、腾讯、新浪等新闻标题、时间、评论数、点赞量、转发量以及阅读量等数据获取。其中较麻烦模块主要是动态数据的获取，以及新浪微博数据的获取，在此分享一些经验给大家参考，如有不对望指正交流、共同进步。爬虫工具新闻网站格式分析及数...

2017-07-14 14:55:00 1081

动态规划简介(算法导论) 动态规划方法通常用来求解最优化问题。这类问题可以有很多可行解，每个解都有一个值，我们希望寻找具有最优值(最小值或最大值)的解。我们称这样的解为问题的一个最优解，但是不是唯一的最优解，因为可能有多个解都能达到最优值。我们通常按如下4个步骤来设计一个动态规划算法：...

2017-07-14 09:31:00 284

图的表示所谓的图G=(V,E)G=(V,E)，由顶点(Vertex)VV和边(Edges)EE组成。可以用两种标准方式来表示：邻接链表邻接矩阵根据图是否有向，可以将图分为有向图和无向图。邻接链表邻接链表由|V||V|条链表构成，即每个顶点...

2017-07-14 09:29:00 1148

引言在搭建成功Ceph集群后，对于如何使用，其实我还是一脸MB的，心想竟然提供三种存储接口（对象，文件，快），口气也未免太大。在结合项目需求之后，我选择了对象存储接口。那么问题又来了，如何配置IPv6的对象存储？实验环境 Linux操作系统版本：CentOS Linux r...

2017-07-14 09:22:00 515

引言为什么突然想起搭建一个基于IPv6的Ceph环境？纯属巧合，原本有一个项目需要搭建一个基于IPv6的文件系统，可惜Hadoop不支持（之前一直觉得Hadoop比较强大），几经折腾，Ceph给了我希望，好了闲话少说，直接进入正题。实验环境 Linux操作系统版本：Cent...

2017-07-14 09:16:00 332

1 环境准备实验均在Vmware Workstation虚拟机上完成，上网方式选择桥接模式，保证网络支持IPv6,为了操作方便，我们使用root用户登录系统 1.1 Linux系统版本 CentOS Linux release 7.2.1511 (Core) ...

2016-11-07 21:22:00 4422

ciang1989的博客