云计算/大数据
pla95816

hadoop学习笔记-java操作HDFS

操作HDFS我们必须搭建好环境,这里我们用HA架构来操作HDFS 开发工具使用idea,开发环境我们使用windows --准备工作 1.我们需要将hadoop解压到windows下,我解...
26
qq_29999343

Docker容器实战-深入理解

一、Docker架构    Docker使用的是C/S架构,Docker Client与Docker Daemon进行交互,主要工作如拉取镜像、编译镜像、运行容器、发布容器等由Docker Daemo...
24
CloudMan6

Weave Scope 多主机监控 - 每天5分钟玩转 Docker 容器技术(81)

除了监控容器,Weave Scope 还可以监控 Docker Host。
41
wjandy0211

hadoop入门介绍

common hdfs    namenode    datanode    secondarynamenode yarn    resourcemanager     nodemana...
30
DJuan15732626157

【数据结构之宏观总结 】

前言: 再次总结数据结构这本书,站在全局观的角度,自己着实成长了不少,此篇博客用来总结数据结构这本书的内容。 核心: 全书共七章,第一章为概论部分内容,从逻辑结构和存储结构展...
31
momo1005

Hadoop学习笔记(三)漫画解读HDFS读写原理

首先看看出场的角色,第一个是client客户端,用来发起读写请求,读取HDFS上的文件或往HDFS中写文件;第二个是Namenode,唯一的一个,会协调所有客户端发起的请求;第三个是DataNode,...
38
u014236541

启动hive 遇到jline 版本冲突问题解决

报错: [hadoop@mina0 hive]$ bin/hive Logging initialized using configuration in jar:file:/home/hadoop...
38
pzhw520hchy

Ubuntu 14 安装scrapy

scrapy
30
Vi_NSN

[线性代数]矩阵的特征值与特征向量

矩阵的特征值与特征向量 相似矩阵 实对称矩阵的对角化 向量的内积 实对称矩阵的对角化 矩阵的特征值与特征向量 设矩阵AA是nn阶方阵,如果存在数λ\lambda和非零向量xx,使...
11
ZH519080

CDH5.8.3集群部署

是关于CDH-5.8.3的hadoop-2.6.0生态系统的安装,在很大一部分上可以增加稳定性和协调性,要比单个安装apache 版本的hadoop生态系统要简单方便
116
momo1005

Hadoop学习笔记(二)HDFS

HDFS的设计目标通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西,以及它是怎样通过多副本机制来提供高可靠性的,我们可以发现HDFS设计目标可以总结为以下几点: 非常巨大的分布式文件系统 运...
23
wjandy0211

hadoop入门之hosts-hostname-ip修改

开机进入文本模式
22
qq_33751926

算法及其相关

算法基础队列:先进先出,后进后出public class dui { private Object[] objects; private int size; private i...
26
yudiyanwang

spark之设置检查点

cache: 将数据缓存到内存 @Test def test1(): Unit ={ val rdd1: RDD[String] = sc.textFile("hdfs:...
26
Belinda_silver

Scrapy爬虫学习中遇到的问题记录

1、报“pkg_resources.distributionnotfound:the service_identity distribution was not found”错误       解决:p...
92
snwdwtm

hdfs常用的Shell操作

(二)Shell操作1 shell操作的准备工作我们需要在.bashrc 文件中配置环境变量,这样hadoop命令才可以方便的直接写,而不用在写全路径去执行exprot HADOOP_HOME=/ho...
44
LYF1993

hadoop2.7.4 安装配置以及java wordcount 运行出错的总结

openjdk环境变量设置 ResourceManager和NodeManager有一个进程消失 DataNode 和NameNode 两个进程有一个消失。 无法访问 org.apache.commo...
46
chenglinhust

Amazon Aurora

Amazon Aurora      它基于存储计算分离的架构,并将回放日志部分下推到分布式存储层,存储节点与数据库实例(计算节点)松耦合,并包含部分计算功能。 Aurora体系下的数据库实例...
39
snwdwtm

常用HDFS的API操作

HDFS常用的API操作如下:1、创建目录 2、上传文件 3、重命名文件 4、删除文件 5、下载文件 6、展示目录HDFS 的API演示(利用Junit来操作)import java.io....
32
yelllowcong

Dubbo之添加到开启自动启动-yellowcong

需要先启动zookeeper,然后在启动dubbo,添加到开机启动后,服务器重启,就不用手动启动了,通过编辑 /etc/rc.local,实现开启启动
64
jelly_shen

20171015算法学习总结

1.队列package algorithm;public class Queue { private Object[] objects; private int size; p...
31
jelly_fqy

20171015

package Text;public class Stack { private Object[] objects; private int head; private in...
23
w3045872817

zookeeper基本讲解

1.什么是zookeeperzookeeper:是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop的重要组件,CDH版本中更是使用它进行Nam...
43
qq_24834541

特征工程(2)

关于异常值的处理是特征处理过程一项比较重要的环节,异常值的存在会对数据敏感的模型的预测结果造成偏差,因此对异常值的处理显得尤为的重要。   异常值有单变量处理,多变量处理之分,单变量处理相对比较容易...
209
qq_16038125

kafka-offset 存储方式

早期版本 消费的 offset 存放在 Zookeeper 集群,利用 Zookeeper 来存储记录每个消费者/组的消费进度,消费者需要频繁的去与 Zookeeper 进行交互,而利用ZKClie...
29
kaaosidao

redis操作以及5种数据类型string,hash,list,set,zset

Redis支持五种数据类型: 查看key的类型(String,hash...)命令:type key string(字符串) 设置一个值:set命令 set name hadoop 在设置的时候可以...
16
qq_36852006

关于安防与大数据 不能不说的九个发展趋势

当前,安防大数据的应用也越来越多,但真正将大数据的挖掘和应用落到实处,转变为商业模式的还是很少,目前很多大数据概念都是噱头。后期安防厂家会进行分化,部分传统安防厂家更加专注于某固定安防领域继续深耕,专...
37
qq_36852006

用大数据看智慧法院建设 打造“信息化3.0

人民法院正在大力推进智慧法院建设,以充分利用案件数据信息,挖掘数据价值,让大数据为司法审判和经济社会发展服务。 大数据技术是一种信息整合应用的技术。在当今的司法审判中,每天都会有海量信息产生,如...
77
marui156

openstack(一)之虚拟化简介

写在前面:云计算在服务器端提供集中的物理计算资源,然后将这些物理资源进行虚拟化,为用户提供一个隔离、安全、可信的虚拟工作环境。因此在学习云计算和openstack之前应先了解下虚拟化技术。 1.wh...
36
kaaosidao

redis简介及安装(集群)

1.简介 Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。 它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内...
41

预告
img Python最佳学习路线!
讲师:提升你的Python实力!

专家申请

img
吴成兵

华东师范大学 计算机科学与软件工程学院 17 非全日制 软件工程 硕士 研究生

img
舒姝

iOS & MacOS 开发者,热衷探索应用开发技术

img
刘盼盼

贡献过kernel开源,活跃于各大创客社区,精通linux+android的嵌入式开发。智...

更多

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部