- 博客(10)
- 收藏
- 关注
RSS订阅原创 计算机组成原理：存储结构（一）
文章目录本章结构第一节：预备节——主存储器芯片结构与寻址第二节：半导体存储器：RAM（随机读写存储器）与ROM（只读存储器）本节脑图主存常用的两种芯片比较DRAM的刷新芯片如何工作的ROM（只读存储器）第三节 存储器的一些基本概念存储器的分类性能指标存储器的层次化结构第四节：主存与CPU的连接扩容（主存容量扩展）：位扩展扩容：字扩展回忆译码器功能字位同时扩展本章结构第一节：预备节——主存...
2020-04-26 23:32:04
1479
原创 wordcount进化：统计总共单词个数+ 自定义Combiner、 Partioner 类
task1：WordCount统计总共单词个数任务描述wordcount上一次的任务是统计每个单词出现的次数，现在的功能要修改成统计文本中一共有多少个不同的单词。解决思想两个mapreduce的job串联运行，第一个job进行分词和词频统计，第二个job统计共有多少词，job2的map把每行都输出成<sum,1>，reduce任务不做修改，结果即为所求单词总数。具体实现代...
2020-04-26 16:40:58
627
原创 fhh课堂笔记
三元组是目前自然语言处理领域的比较热的方向B（症状上位标志词）:特点， 特征，现象，表现，疾病，症状，指标， 重要指标，病症，临床，总称C:伴有，包括，出现 ，是，是种，是一种 ，非一种，反映，还有， ，存在，指的是，可见，以，引起，可， 以…为，并D ：无症状，没有…症状，D1:随，通常，有时，偶尔，主要，继而，随后，往往，更为明显，明显，严重，轻微，比…更 ，…时，迅速， 突发，凶猛...
2020-04-24 21:05:09
255
原创 pandas数据分析：剔除数据相同或全为空的列
代码：def dropNullStd(data): beforlen = data.shape[1] colisNull = data.describe().loc['count']==0 #colisNull中1代表该列是空，0代表不为空 for i in range(len(colisNull)): if colisNull[i]: ...
2020-04-14 12:36:40
2692
原创 自定义一个hadoop数据类型
import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class Point3D implements WritableComparable<Point3D> { ...
2020-04-11 12:09:14
129
原创 MapReduce实例WordCount的编程实现与Hadoop数据类型介绍
目录：Hadoop数据类型介绍WordCount编程实现WordCount部署运行参考Hadoop数据类型介绍我们知道hadoop是由Java 编程写的。因此我们使用Java开发环境来操作HDFS,编写mapreduce也是很自然的事情。但是这里面hadoop却对Java数据类型进行了，那么hadoop的数据类型与Java那些数据类型对应。下面做一些对比：(1) 在hadoop.io包，主要...
2020-04-11 12:02:44
197
原创 MapReduce
介绍MapReduce是一种并行编程模型，计算过程高度抽象成Map和Reduce两个函数，屏蔽了底层细节。MapReduce的策略：分而治之MapReduce的理念计算向数据靠拢。架构Master/slave函数介绍：Reduce函数的输入输出：MR的体系结构组件解释以slot为单位进行资源调度MapReduce的工作流程...
2020-04-05 17:08:25
130
原创 Linux截图
Alt+PrtSc：整个界面截图Shift+PrtSc：选区截图保存到图片Shift+Ctrl+PrtASc：选取截图保存到剪切板（常用）
2020-04-05 15:58:16
126
原创 分布式文件系统 笔记
shell命令风格教材《大数据技术原理与应用》的命令是以”./bin/hadoop dfs”开头的Shell命令方式，实际上有三种shell命令方式。hadoop fshadoop dfshdfs dfshadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统hadoop dfs只能适用于HDFS文件系统hdfs dfs跟hadoop dfs的命令作...
2020-04-05 15:48:53
97
原创 上传文件到HDFS报错：There are 0 datanode(s) running and 0 node(s) are excluded in this operation.
上传文件到HDFS的时候报错_COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.解决原因似乎是因为datanode没有启动，查了解决方法，最终stakeo...
2020-04-05 15:39:14
2714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人