- 博客(15)
- 收藏
- 关注
RSS订阅原创 《利用Python进行数据分析》读书笔记（一）Python Basic
这一系列博客是看《Python for Data Analysis》的读书笔记，只截取了大部分自己认为重要的知识点，不少例子也是来自于书中。本机安装的是python 3.6版本，并使用anaconda安装了jupyter notebook和一些常用模块。Python Interpreter在终端命令行输入python指令后调出python交互界面，使用exit()或者Ctrl+D退出p...
2018-09-02 07:49:41
320
原创 【论文阅读】Community Structure in Time-Dependent, Multiscale, and Multiplex Networks
论文地址这篇论文相比之前一篇读起来有点吃力，一是生词有点多，二是牵扯到过多的专业知识，很多框架结构多是其他论文中提到的，对于论文的实现细节无法深究，但能大概明白文章做了什么事。网络科学（Network Science）是一门跨专业的学科，一个重要的问题就是网络节点中社区（community）的检测，就是将网络中关系密切的一些节点归为一个集合，称为community。本文提出了一种方法可以解...
2018-03-24 21:09:41
1898
3
原创 【论文阅读】Distributed Representation of Sentence and Document
Abstract传统的单词模型（bag-of-words）在实际应用中有一些缺点：They lose the ordering of the words，丢失了单词的顺序。They ignore semantics of the words，忽略了单词的语义。因此本文提出了一种新的模型（Paragraph Vector），解决了上述的一些问题，带来了更好的效果。Intro...
2018-03-24 20:59:19
1256
原创 【论文阅读】TextBoxes: A Fast Text Detector with a Single Deep Neural Network
论文标题：TextBoxes: A Fast Text Detector with a Single Deep Neural Network 作者：Minghui Liao, Baoguang Shi, Xiang Bai, Xinggang Wang, Wenyu LiuIntroduction场景文字识别与传统OCR有区别，场景文字识别需要区别文字与背景的关系，...
2018-02-26 21:50:25
1239
1
原创 算法导论学习笔记（一）快速排序及优化
快速排序的描述快排的伪代码：QUICK_SORT(A,p,r){ if p<r q = PARTITION(A,p,r) QUICK_SORT(A,p,q-1) QUICK_SORT(A,q+1,r)}初始调用传入的参数是QUICK_SORT(A,1,A.length)。PARTITION的伪代码：PARTITION(A,p,r){
2017-10-27 00:10:56
325
翻译 HBase学习笔记（二）HBase架构
HBase Architectural Components（HBase架构组件）HBase架构也是主从架构，由三部分构成HRegionServer、HBase Master和ZooKeeper。RegionServer负责数据的读写与客户端交互，对于region的操作则是由HMaster处理，ZooKeeper则是负责维护运行中的节点。在底层，它将数据存储于HDFS文件中，因而涉及到HDFS的NN
2017-10-24 08:27:46
555
翻译 HBase学习笔记（一）HBase数据模型
HBase是运行在Hadoop集群上的一个数据库，与传统的数据库有严格的ACID（原子性、一致性、隔离性、持久性）要求不一样，HBase降低了这些要求从而获得更好的扩展性，它更适合存储一些非结构化和半结构化的数据。 Apache HBase is a database that runs on a Hadoop cluster. HBase is not a traditional RDBMS,
2017-10-23 10:33:18
951
原创 Hadoop学习笔记（六）实战word count
配置工程在maven官网上下载最新的maven压缩包并解压。下载IntelliJ IDEA并安装。在IDEA中新建工程，选择maven，sdk选择java jdk的目录，勾选上Create form archetype，选择quickstart，下一步。 填写GroupId和ArtifactId，version填写1.0，下一步。 User settings file配置选择下载解压后的mav
2017-10-21 12:53:38
474
原创 Hadoop学习笔记（五）MapReduce
MapReduce概述源自于Google的MapReduce论文，发表于2004年12月Hadoop MapReduce是Google MapReduce的克隆版MapReduce优点：海量数据的离线处理、易开发、易运行。所谓海量数据，说明MapReduce可以处理的数据量非常大，离线处理说明MapReduce跟实时响应不同，用户将作业提交，系统按批次进行处理，由于数据量大，自然非常耗时。所
2017-10-20 07:28:54
464
原创 Hadoop学习笔记（四）YARN
YARN产生背景为什么会产生YRAN？这个与MapReduce1.x的架构有关，正是因为MapReduce1.x存在许多的问题，才会产生 YARN。MapReduce1.x的架构如下：Hadoop1.x时，MapReduce的架构仍然是主从架构。一个JobTracker带多个TaskTracker，主节点为JobTracker，只有一个，从节点为TaskTracker，可以有多个，从节点通过向
2017-10-16 23:04:15
369
原创 Hadoop学习笔记（三）漫画解读HDFS读写原理
首先看看出场的角色，第一个是client客户端，用来发起读写请求，读取HDFS上的文件或往HDFS中写文件；第二个是Namenode，唯一的一个，会协调所有客户端发起的请求；第三个是DataNode，负责数据存储，跟Namenode不一样，DataNode有很多个，有时候能达到数以千计。写数据流程往HDFS中写数据的流程如下：第1幅图：我们跟客户端说，你帮我写一个200M的数据吧，客户端说没问题啊，
2017-10-15 20:14:00
1233
原创 Hadoop学习笔记（二）HDFS
HDFS的设计目标通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西，以及它是怎样通过多副本机制来提供高可靠性的，我们可以发现HDFS设计目标可以总结为以下几点：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务HDFS的架构我们通过官网的文档来了解HDFS的基础架构（http://hadoop.apache.org/docs/current/ha
2017-10-15 19:52:27
507
原创 Hadoop学习笔记（一）初识Hadoop
研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。
2017-10-11 16:57:30
1282
原创 解析json存储到model中
在volley请求返回json时，需要对返回的json字符串进行解析，并将其中的属性分离出来存到我们定义好的对应的model中。下面说一下步骤：一、php产生字符串利用本地服务器编写php文件产生json字符串produce_json.php<?php/** * Created by PhpStorm. * User: Momo * Date: 2016/10/29 * Time: 1
2016-10-29 11:13:56
1075
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人