weixin_43815790的博客

安装python3.7安装依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc* make -y下载python3压缩包mkdir software2cd software2wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz解压tar -zxvf Pyth

1)创建topictopic: 指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收./kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic order使用Kafka自...

hdfs介绍hdfs如何存储数据？首先有一个namenode,连着多个datanode默认一个datanode大小为500G.当一个客户端不停的传输数据，如果分布式系统的磁盘空间被占满了，hdfs会横向扩展datanode节点。如果上传的文件是1T，会怎么样？当上传一个1T文件的时候，hdfs系统会讲当前文件按照BLOCK块进行切割并存储，默认blocksize为128M。如果某个块丢失...

win10win10升级助手链接https://www.microsoft.com/zh-cn/software-download/windows10

//这个类是JDBC连接数据库的工具类import java.io.FileInputStream;import java.io.IOException;import java.sql.*;import java.util.Properties;@SuppressWarnings(“all”)public class JDBCUtils {private static final S...

//这个类是JDBC连接数据库的工具类import java.io.FileInputStream;import java.io.IOException;import java.sql.*;import java.util.Properties;@SuppressWarnings(“all”)public class JDBCUtils {private static final S...

Shell使用c语言编写的程序，通过Shell，用户可以访问操作系统内核服务。它既是一种命令语言，又是一种程序设计语言。Linux的Shell种类众多，一个系统可以存在多个Shell,通过cat /etc/shells命令查看系统中安装的Shell。由于Bash易用、免费，所以在工作中被广泛使用。同时，Bash也是大多数Liunx系统默认的Shell。#! /bin/bashecho "H...

1.IP地址A类：192.0~255.0-255.0~255B类：192.168.0~255.0~255C类：192.168.12.0~255D类：IP网络中的组播E类：研究保留用2.端口号0~65535其中 0-1024 系统使用或保留端口3.传输协议UDP（用户数据报协议）、TCP（传输控制协议）4.网络模型5.RPC远程调用协议。...

查了好多资料，可能是因为上次进程关闭出错导致。解决方法：rm -rf /tmp/hsperfdata_*将这些临时文件删除，

kafka基本架构Kafka Cluster:由多个服务器组成。每一服务器单独的名字叫broker(掮客)Kafka broker:kafka集群中包含的服务器Kafka Producer:消息生产者，发布消息到kafka集群终端或服务Kafka Consumer:消息消费者消费数据Kafka Topic:主题，一类消息的名称，存储数据时将一类数据存放在某个topic下，消费数据也是消...

1.下载安装包2.解压 tar zxvf hue-3.9.0-cdh5.14.0.tar.gz3.联网安装各种必须的依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt...

有三个安装包解压Azkaban Web 服务器：tar zxvf azkaban-web-server-2.5.0.tar.gz -C /export/servers/Azkaban 执行服务器：tar zxvf azkaban-executor-server-2.5.0.tar.gz -C /export/servers/azkaban 脚本导入： tar zxvf azkaban-s...

Zookeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。Zookeeper本质上是一个分布式的小文件存储系统（建议每个节点的大小不超过1M）。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据的变化，从...

问题一[root@node01 nginx]# sbin/nginx -s reloadnginx: [error] open() "/export/servers/openresty/nginx/logs/nginx.pid" failed (2: No such file or directory)logs文件夹下没有nginx.pid文件出现上述错误，解决方法使用nginx -c...

1 下载rediswget http://download.redis.io/releases/redis-3.0.6.tar.gz2 解压，安装tar zxvf redis-3.0.6.tar.gz cd redis-3.0.63 下载编译环境并编译yum install readline-devel pcre-devel opens...

使用root用户创建一个专门的用户es，并创建文件夹 useradd es mkdir -p /export/servers/es mkdir -p /export/data/es mkdir -p /export/logs/es chown -R es /export/servers/es chown -R es /export/data/es ...

hive 启动时的问题Logging initialized using configuration in jar:file:/export/servers/hive-1.1.0-cdh5.14.0/lib/hive-common-1.1.0-cdh5.14.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.Run...

大数据流程数据分析计算(MapReduce)Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。数据仓库的主要特征：数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。数据仓库不产生数据 单纯的数据分析平台，集成化的数据分析平台面向主题的：主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归...

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hadoop, access=WRITE, inode="/a":root:supergroup:drwxr-xr-x at org.apache....

RDD的属性一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPUCore的数目。一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。com...