云计算/大数据
m0_37803704

Hadoop安全机制介绍

1.背景1.1 共享Hadoop集群      当前大一点的公司都采用了共享Hadoop集群的模式,这种模式可以减小维护成本,且避免数据过度冗余,增加硬件成本。共享Hadoop是指:(1)管理员把研发...
18
weixin_39961559

通过阿里云容器镜像服务下载gcr.io镜像

通过kubeadm部署k8s集群,在执行kubeadm init命令时,默认生成的manifests文件夹下yaml文件的镜像都是gcr.io上的,在国内由于被墙而不能正常下载,也就导致了集群不能正常...
30
qq_21125183

分布式图处理系统同步异步执行模式

分布式图处理系统(GraphLab、PowerGraph以及同步BSP模型的Pregel)主要有两种执行模式。一种是同步执行模式,还有一种是异步执行模式。同步模式即相邻两步迭代之间存在同步控制,所有任...
18
m0_37803704

几种必须了解的分布式算法

前言分布式设计与开发中有些疑难问题必须借助一些算法才能解决,比如分布式环境一致性问题,感觉以下分布式算法是必须了解的(随着学习深入有待添加):Paxos算法一致性Hash算法Paxos算法1)问题描述...
16
huangyinzhao

MySQL与Oracle的数据类型对照表

MySQL与Oracle两种数据库在工作中,都是用的比较多的数据库,由于MySQL与Oracle在数据类型上有部分差异,在我们迁移数据库时,会遇上一定的麻烦,下面介绍MySQL与Oracle数据库数据...
1
huangyinzhao

Hive支持原始数据类型和复杂类型

Hive支持原始数据类型和复杂类型,原始类型包括数值型,Boolean,字符串,时间戳。复杂类型包括array,map,struct,union。一,原始数据类型类型名称大小示例TINYINT1字节整...
4
zwq_zwq_zwq

Elasticsearch 6.3 发布,支持SQL搜索

如题目所言,SQL模块作为C-Pack的一部分发布于Elasticsearch 6.3。但是官方文档也明确写明下面一段话:大致意思就是:“这个功能是实验性的,以后没准儿改变或者完全移除(人家先打个预防...
2
qq_21125183

图处理系统综述

1.BackGround        现有的图数据可以分为以下三个方面。分别是社交媒体图,广告图和Web图。社交媒体图主要包括微博、Twitter、FaceBook。人与人之间的关系也是一种图结构,...
4
gaoming201314

微软PowerBI商业智能数据可视化

想制作高颜值高效率高智能的动态报表吗?想让老板和同事们对你刮目相看?不需要有编程基础!不需要有复杂的ETL的Data warehouse(数据仓库)做支撑!赶快来学习使用Power BI吧!微软Pow...
26
vtopqx img

Hadoop没有datanode节点解决

Hadoop启动之后jps查看,[root@VM_0_3_centos hadoop]# jps23488 NameNode23746 SecondaryNameNode24100 Jps23959 ...
woai8339

scala--数列简洁写法

def fib(n: Int): Int = {  var a = 0  var b = 1  var i = 0  while (i < n) {    val prev_a = a ...
4
wj1314250

MapReduce分布编程模型之映射函数与化简函数简介

导读:在程序语言中,映射函数与化简函数是常用的函数。映射函数与化简函数是MapReduce分布编程模型的两个主要函数。简单的说,一个映射函数就是对一些独立元素组成的概念上的列表{例如,一个测验成绩的列...
5
Xiblade

使用hadoop遇到的坑(二)

1. 运行过程中节点被拉黑的问题 上一节新配置了slave50,加入了集群。可运行MR时,发现此节点频繁报java.net.UnknownHostException,且被拉入了黑名单中,如图: ...
5
weixin_42489988

电子护照阅读机—OCR识别

电子护照阅读机        护照阅读机一款功能丰富的证件信息采集设备,涉及光学、机械、电子电路、图像处理、模式识别、OCR识别、人工智能、射频识别(RFID)等多项领域。采用TH-OCR技术,能够快...
8
weixin_42489988

车牌识别一体机

停车场应用场景车牌识别一体机车牌识别一体机(又名车牌识别一体化摄像机)。主要由三部分组成,包括相机、显示屏和立柱。                                           ...
3
u013385018

特征工程

数据和特征决定了模型的上限,算法只是在帮忙逼近这个上限。1.    显性特征:可以理解为用户直接可以拿到的数据字段2.    半隐性特征:用户数据在通过GBDT等算法的计算过程中产出的一些特征3.  ...
31
m0_37803704

消息队列之 Kafka

Kafka 是 LinkedIn 公司的一款开源 MQ。在没有 Kafka 之前,大部分的业务与业务之间都是通过端对端的连接,错综复杂。试想用一种极为简单的 Pipeline 将这些数据进行一次 Ag...
7
liu16659

Windows下执行MapReduce任务报错

Windows下执行MapReduce任务报错 1.错误如下: org.apache.hadoop.security.AccessControlException: Permission de...
7
liu16659

HBase中建立分区表

HBase中建立分区表 1.什么是分区表? 在HBase中,每个表默认时都由一个Region存储原数据,但是若当数据慢慢增加时,就会将一个Region分裂成其他若干个不同的region。但是这...
7
wang_da_king

Map的两种遍历方式

一、keySet遍历    Set<String> set = map.keySet();    Iterator<String> iterat...
2
luanpeng825485697

将图片转化为txt文本显示

原图: 效果显示:(txt字体大小为1) 效果显示:(txt字体大小为2) python源码 #导入cv模块 import cv2 as cv import random im...
5
liu123641191

Hadoop系统中的单点故障解决方案总结

相较与Hadoop1.0,Hadoop2.0提供了比较完整的单点故障解决方案(Hadoop HA)Hadoop2.0内核由三个分支组成:HDFS、MapReduce和YARN,其他的Hadoop生态系...
8
wjn19921104

【Java集合篇之Map】HashMap、HashTable、TreeMap、LinkedHashMap的区别以及应用场景

今天我向大家介绍Map接口中常用的四个集合类,先看看这几种实现类的类结构:[java] view plain copypublic class HashMap<K,V> e...
3
wjn19921104

flume自定义拦截器

flume自定义拦截器1.  背景介绍Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时...
5
java987654

Java实现Excel的导入导出

首先在jsp页面中要有按钮<a href="##" class="easyui-linkbutton" data-options="ic...
5
wjn19921104

Shell快速入门

Shell快速入门教程1. Shell程序1.1 基本概念l 以文件的形式批量的存放linux 的命令集合。可以被shell解释执行,这种文件就是shell脚本程序。l Shell程序通常由linux...
9
wjn19921104

Crontab--定时器

Crontab--定时器要么就是脚本+Crontab 30 0 * * * bash /home/hadoop/beicai1609/auto_shell/datapreament/nohup_run...
5
qq_35508033

SpringBoot与任务

异步任务、定时任务、邮件任务一、异步任务在Java应用中,绝大多数情况下都是通过同步的方式来实现交互处理的;但是在处理与第三方系统交互的时候,容易造成响应迟缓的情况,之前大部分都是使用多线程来完成此类...
4
wjn19921104

spark的执行流程

spark的执行流程:spark的集群 :master: 1/管理集群,start-all.sh,启动集群,让worker去master 发心跳,上报自己状态,告诉master自己有多少资源(cpu...
25
liu16659

HBase协处理器实战

HBase协处理器实战 1.概念 HBase的coprocessor分为两类,Observer和EndPoint。Observer相当于触发器,代码部署在服务端,相当于对API调用的代理。HB...
57

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
宿永杰

2015年毕业于中国地质大学(武汉)信息安全专业,之后从事java、python开发工程师...

img
徐宏

目前从事物联网智能家居领域,就位Android开发工程师,对嵌入式开发有着浓厚的兴趣与经验...

img
宋明旭

大学四年ACM参赛经历,工作三年,专修算法,目前主要从事棋牌算法以及人工智能领域的相关工作...

更多

日榜

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部