浅汐

大数据技术交流与分享,内有大量大数据干货 1群:126181630 2群:663052251 3群:671914634 4群:707635769 5群:545916944...

排序:
默认
按更新时间
按访问量

Spark2.2.1 监控界面报错javax.servlet.http.HttpServletRequest.isAsyncStarted()Z

1、环境  Spark2.2.1,Hadoop2.6,Intellj,Scala2.11 2、pom文件 <dependency> <groupId>org.apache.spark&a...

2018-09-10 23:14:02

阅读数:16

评论数:0

数据结构的基本概念和抽象数据类型

人们在使用计算机解决客观世界中存在的具体问题时,通常过程如下:首先通过对客观世界的认知形成印象和概念从而得到了信息,在此基础上建立概念模型,它必须能够如实地反映客观世界中的事物以及事物间的联系;根据概念模型将实际问题转化为计算机能够理解的形式,然后设计程序;用户通过人机交互界面与系统交流,使系统执...

2018-07-09 13:24:15

阅读数:145

评论数:0

激活IDEA

激活前将以下内容追加到/etc/hosts文件中sudo vi /etc/hosts 0.0.0.0 account.jetbrains.com123 然后在http://idea.lanyus.com/网站上生成注册码,在IDEA中Activation Code中,激活成功。...

2018-04-15 01:03:02

阅读数:60

评论数:0

mint安装QQ8.9.x

三四条命令即可安装成功//添加安装QQ需要的源 sudo add-apt-repository ppa:wine/wine-builds //更新安装源 sudo apt-get update //安装 sudo apt-get install winehq-devel123456 去这把QQ...

2018-04-15 01:00:39

阅读数:60

评论数:0

mint下开启和关闭防火墙

需要root才可以开启和关闭防火墙 如果没有root,可以用sudo su命令进入root权限查看防火墙状态 ufw status开启防火墙 ufw enable关闭防火墙 ufw disable

2018-04-15 00:54:17

阅读数:171

评论数:0

CRT无法连接VM中的Mint

原因是Mint没有安装openssl服务,现在安装$ sudo apt-get install openssh-server 1查看server是否启动:$ ps -ef |grep ssh 1如果没启动,那么用以下代码启动:$ /etc/init.d/ssh start 1完成!现在用CRT连接...

2018-04-15 00:51:42

阅读数:104

评论数:0

Spark UI界面实现原理

当Spark程序在运行时,会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数,默认值,以及其作用。参数默认值作用描述spark.ui.enabledtrue是否开启UI...

2018-04-13 20:59:17

阅读数:194

评论数:0

Hadoop2 HA模式下的FSImage和EditsLog合并过程

一、什么是FSImage和EditsLog  我们知道HDFS是一个分布式文件存储系统,文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。随着存储文件的增多,NameNode上存储的信息也会越来...

2018-04-13 20:36:59

阅读数:74

评论数:0

ORC文件存储格式

ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档,以及基于官方文档的翻译内容这里就不赘述了,有兴趣的可以仔细研究了解一下。一、ORC文件格式  ORC的全称是(Optimized Record Columnar),使用ORC文件格式可以提高hive读、写和处理数据的能力...

2018-04-13 20:32:41

阅读数:84

评论数:0

markdownpad2注册码

打开markdownpad2 –> 帮助 –>升级为专业版按照如下输入:​邮箱地址:Soar360@live.com授权秘钥:GBPduHjWfJU1mZqcPM3BikjYKF6xKhlKIys3i1MU2eJHqWGImDHzWdD6xhMNLGVp...

2018-04-13 17:01:21

阅读数:32

评论数:0

Centos7 ifconfig command not found

用VM安装了CentOS7,但是选择的是最小安装包模式,安装完毕之后想使用ifconfig查看一下本机的ip地址,发现报"-bash: ifconfig: 未找到命令"这个错误,如下图:command not found针对这个问题,分两个部分整理一下思路,如下...

2018-04-09 17:03:23

阅读数:39

评论数:0

CentOS7网络配置(ping不通)

这是配置好的CentOS7,刚开始在Vmware里装CentOS7后是没有ip的,原因是CentOS7默认不启动网卡的,(网卡不启用还ping个毛)进入 /etc/sysconfig/network-scipts 文件夹下查看 ifcfg-eno16777736 网卡配置文件(centos7改动了...

2018-04-09 16:59:28

阅读数:206

评论数:0

一小时Docker教程

Docker基础这篇基础文章是方便用户在使用cSphere平台之前,了解docker基础知识。针对已经有一定的Linux基础知识的用户。Docker是什么Docker是一个改进的容器技术。具体的“改进”体现在,Docker为容器引入了镜像,使得容器可以从预先定义好的模版(images)创建出来,并...

2018-04-09 15:26:46

阅读数:63

评论数:0

Centos6.5下docker 环境搭建

1.查看当前版本:[root@localhost ~]# more /etc/issue CentOS release 6.5 (Final) Kernel \r on an \m [root@localhost ~]# uname -a Linux localhost.localdomain 2...

2018-04-09 15:14:29

阅读数:36

评论数:0

ES:mget批量查询

1.批量查询的好处1)一条一条查询,需要发送多次,网络开销大,批量查询可以解决很多网络的开销2)使用mget2.使用mget进行查询操作1)如果批量查询的对象不是在一个index中,那么可以用下面的语法GET /_mget{  "docs":[    {    ...

2018-03-31 17:12:00

阅读数:283

评论数:0

K-means 聚类算法原理

聚类分析是一个无监督学习 (Unsupervised Learning) 过程, 一般是用来对数据对象按照其特征属性进行分组,经常被应用在客户分群,欺诈检测,图像分析等领域。K-means 应该是最有名并且最经常使用的聚类算法了,其原理比较容易理解,并且聚类效果良好,有着广泛的使用。和诸多机器学习...

2018-03-31 13:19:22

阅读数:220

评论数:1

hive表中字段显示为NULL时,HDFS文件中存储为\N

1. 字符串null是因为,当字段=‘’时,存储为null。利用命令        alter table adl_cici_test_fdt set serdeproperties('serialization.null.format' = '');可是实现该功能。即遇到''用null替换2. ...

2018-03-30 20:22:41

阅读数:93

评论数:0

Spark job 的执行流程简介

我们可以发现,Spark 应用程序在提交执行后,控制台会打印很多日志信息,这些信息看起来是杂乱无章的,但是却在一定程度上体现了一个被提交的 Spark job 在集群中是如何被调度执行的,我会向大家介绍一个典型的 Spark job 是如何被调度执行的。我们先来了解以下几个概念:DAG: 即 Di...

2018-03-30 19:11:28

阅读数:99

评论数:0

RDD基本算子操作

1.1.   Transformations1.1.1. 创建RDD1、数组创建RDD从普通数组创建RDD,里面包含了1到9这9个数字,它们分别在3个分区中。valrdd1= sc.parallelize(1 to 9, 3)rdd1:org.apache.spark.rdd.RDD[Int] =...

2018-03-30 16:40:38

阅读数:103

评论数:0

HashMap实现原理

HashMap结构图目录唠叨解析思路get方法put方法resize方法唠叨认真阅读了下HashMap的实现方式,也参考了网上别人的一些解析,个人觉得还是有些东西想说。网上有的文章名字为HashMap源码解析,实际上就是给它里面的一些方法加上一些注释而已,有不少都是这样的。我自己看源码的时候,发现...

2018-03-30 13:04:59

阅读数:47

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭