云计算/大数据
qq_38161676

MapReduce编程实现矩阵转置

MapReduce实现矩阵的转置  在大型数据处理中我们经常会用到Hadoop分布式数据处理技术,矩阵转置在矩阵相乘算法中是核心算法,而矩阵相乘也是算法中涉及的数学公式常有的。本篇介绍用Ma...
9
cyq6239075

btrfs调试入门

讲一下如何创建一个btrfs文件系统以及如何dump信息. 首先写一个文件来当作一个磁盘 sudo dd if=/dev/zero of=test.img bs=500M count=1 以系统...
6
m0_37786726

hadoop wordcount 详解

mapreduce hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序 Demo开发——wordcount 1、需求 从大...
7
comeonzz

Spring Cloud Config Server 实践

本文介绍简单的使用Config Server. Spring Cloud Config Server 作为配置中心服务端 拉取配置时更新 git 仓库副本,保证是最新结果 支持数据结构丰富,ym...
11
u010820702

记一次Phoenix写入优化

场景描述 现有大量CSV格式的数据记录存储在HDFS中,需要批量索引到Hbase以便于数据查询。限于Hbase的主键索引以及使用Hbase API的诸多不方便,最后采用了Phoenix+Hbase的...
37
m0_37786726

hadoop集群搭建

HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode Y...
36
JZ_Javacy

SVD与SVD++的学习

SVD在推荐系统中的应用详解以及算法推导 转载,出处:http://blog.csdn.net/zhongkejingwang/article/details/43083603     下面开始介绍...
9
Magic_Ninja

CentOS7安装单机版Hadoop

(一)安装JAVA环境 hadoop需要java环境,所以先安装好java,安装CentOS的时候,有的勾选了就可以不用安装了 安装最新版JDK博客 (二)下载hadoop 到官网下载自己喜欢...
14
yuelulu0629

有问题的数据——T1

1. NC\094_S_1267\S81375\m0wrp1ADNI_094_S_1267_MR_MPR-R__GradWarp__B1_Correction__N3_Br_2010111014534...
4
xiongchengluo1129

快速排序算法 Python实现

def sub_sort(arr,low,high): key=arr[low] while low=key: high-=1 arr[low]...
14
u014381464

数据分析

数据分析 职位描述: 1.针对作业帮直播课业务线的数据挖掘及分析等相关工作 任职资格:  1. 至少熟练掌握一门编程语言、对数据结构和算法设计有较为深刻的理解,动手能...
41
u010459192

大数据计数原理1+0=1这你都不会算(十)No.77

完结篇。 这个系列写到这里算是结束了,真是不容易说实话,查了好多好多的资料,真的很难相信懒得要命的我能写完这个系列 T_T。有兴趣的小伙伴可以在菜单看看整个系列。 好啦,开始今天的主题,今天主...
8
weixin_37295400

AWS 上可用的公用数据集

深度学习和大数据学习需要依赖海量数据,遥感卫星也是深度学习的一个关键场景。后续我会支持更新我们在这个领域的进展,分享今天收集和整理的数据和项目,期待中国航天行业也能有更好的开放性。 地理空间...
35
u010459192

提高Spark姿势水平 No.73

长文。巨长。 本文的依据是我学习整个Spark的学习历程。在这里,我会从几个方面来跟大家一起讨论。Spark 是什么?Spark 跟 Hadoop 有什么渊源?Spark 有哪些方便的组件?什么...
5
chenyulancn

iSCSI存储连接的几种方式

iSCSI设备的主机接口一般默认都是IP接口,可以直接与以太网络交换机和iSCSI交换机连接,形成一个存储区域网络。根据主机端HBA卡、网络交换机的不同,iSCSI设备与主机之间有三种连接方式。 ...
13
Urbanears

用Python爬取京东商品评论(1)

Python网络爬虫所需要的模块本次爬虫程序需要的模块有: requests、BeautifulSoup、chardet、re、json、csv 以下先来分别介绍这几个模块的用处1.request...
47
koalajn

“ WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using built”

Hadoop集群部署完成后,经常会提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla...
8
blueheart20 img

Docker命令指南(一)

这里docker常用的命令用法。 Docker节点Clone Clone镜像到本地文件系统 docker pull image_name 示例: docke...
15
wangguohe

6.Spark综合练习--二次排序、TopN

在此练习之前,要了解二次排序的使用。 java代码示例 package secondary; import scala.math.Ordered; import java.io.Seriali...
16
lissic_blog

ElasticSearch配置文件说明

ElasticSearch配置文件说明 1、cluster.name:elasticsearch 配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es,如果在...
20
ChangeSeven

docker的使用--数据管理

用户在docker的过程中需要查看容器中的数据,或者需要在容器里面备份数据,甚至需要在多个容器中共享数据,这就需要数据的管理 容器中的数据管理有2中方式:1.数据卷,2.数据卷容器 a.容器中如何...
13
Mrs_haining

69道Spring面试题和答案

目录 Spring 概述依赖注入Spring beansSpring注解Spring数据访问Spring面向切面编程(AOP)Spring MVC Spring 概述 1. 什么是spring? ...
5
CSDN_LYY

git配置邮件

在命令行使用命令: git config --global user.email "user@example.com" 这就是我对于git配置邮件的认识。
13
u013803572

Hadoop完全分布式安装,仅供学习测试

Hadoop完全分布式安装,仅供学习测试 Hadoop版本:hadoop-2.6.0-cdh5.13.1 http://archive.cloudera.com/cdh5/cdh/5/ 安装环境...
13
chenshi_2753

完全分布式基于HA搭建HDFS集群(ZK+ZKFC+JN)

原理解释://TODO: 搭建过程记录: 主要2大步,搭建zookeeper和配置HDFS 1.先搭建zookeeper 配置3台机器,先配置好一台然后分发到不同的机器上。 解压完先配环境...
6
ngtfood

空间统计二十一:密度分析(一)

白话空间统计二十一:密度分析(一) 密度分析这个概念其实很早就想写了,也有无数同学都问过我,虾神你能不能讲讲那些漂亮的热度图是怎么做的啊?比如下面这种: 如果说,这是互联网地图里面...
4
alanlonglong

KNN核心原理

1.将一个已知实例当做一个点,将该实例的所有可观察属性当做该点的坐标A(a1,a2,a3,a4,a5),B,C,D....... 2.将预测实例属性映射到坐标Z(z1,z2,z3,z4,z5) 3...
4
zhouyiqi_C

安装cuda 9.0出现没有核心执行或找不到核心的问题

比如这个问题也是CUDA9.0出现的问题,是因为显卡计算能力小于3.0出现的,换CUDA8.0就可以了。 我显卡是GT630M cuda为96个计算能力为2.1 我之前也是出现那个问题...
7
Davis_Dxs

Hadoop 伪分布式 搭建配置详解

Hadoop 伪分布式 搭建配置详解 环境: 虚拟机:VMware® Workstation 14 Pro 本机系统:windows 10 虚拟机系统:CentOS_6.6 JDK:1.8 ...
18
matrix_neo_nku

【项目实战】使用urllib爬取虎扑首页的所有新闻

虎扑是我从高中就开始关注的网站,学习了网络爬虫后,写一个小程序来爬取虎扑首页的所有新闻,其中使用了urllib,正则表达式。防止爬虫被识别出来,将爬虫伪装成浏览器,下面直接上代码。    impo...
7

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
熊佳牧

这里是我的个人简介,其实什么也没有写

img
黄海涛

概率与数理统计硕士,目前从事机器学习,深度学习与NLP研究,曾多次斩获全国数学建模竞赛一二...

img
王磊

2008-2011 后端java服务器开发 2011-2017 手机游戏客户端开发 2...

更多

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部