- 博客(36)
- 收藏
- 关注
原创 superset 1.3安装
安装python3.7安装依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc* make -y下载python3压缩包mkdir software2cd software2wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz解压tar -zxvf Pyth
2021-09-01 15:14:43
828
原创 Kafka的基本使用
1)创建topictopic: 指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收./kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic order使用Kafka自...
2021-08-18 17:31:21
202
原创 初识HDFS
hdfs介绍hdfs如何存储数据?首先有一个namenode,连着多个datanode默认一个datanode大小为500G.当一个客户端不停的传输数据,如果分布式系统的磁盘空间被占满了,hdfs会横向扩展datanode节点。如果上传的文件是1T,会怎么样?当上传一个1T文件的时候,hdfs系统会讲当前文件按照BLOCK块进行切割并存储,默认blocksize为128M。如果某个块丢失...
2021-08-18 15:13:37
123
原创 win10升级助手链接
win10win10升级助手链接https://www.microsoft.com/zh-cn/software-download/windows10
2020-09-27 09:55:18
227
原创 java中的工具类实例化后用“.”不提示工具类中的方法
//这个类是JDBC连接数据库的工具类import java.io.FileInputStream;import java.io.IOException;import java.sql.*;import java.util.Properties;@SuppressWarnings(“all”)public class JDBCUtils {private static final S...
2019-07-15 16:09:44
587
原创 linux-shell编程
Shell使用c语言编写的程序,通过Shell,用户可以访问操作系统内核服务。它既是一种命令语言,又是一种程序设计语言。Linux的Shell种类众多,一个系统可以存在多个Shell,通过cat /etc/shells命令查看系统中安装的Shell。由于Bash易用、免费,所以在工作中被广泛使用。同时,Bash也是大多数Liunx系统默认的Shell。#! /bin/bashecho "H...
2019-07-15 16:08:10
103
转载 计算机网络
1.IP地址A类:192.0~255.0-255.0~255B类:192.168.0~255.0~255C类:192.168.12.0~255D类:IP网络中的组播E类:研究保留用2.端口号0~65535其中 0-1024 系统使用或保留端口3.传输协议UDP(用户数据报协议)、TCP(传输控制协议)4.网络模型5.RPC远程调用协议。...
2019-07-15 16:06:54
99
转载 使用jps命令后显示 -- process information unavailable
查了好多资料,可能是因为上次进程关闭出错导致。解决方法:rm -rf /tmp/hsperfdata_*将这些临时文件删除,
2019-07-15 16:04:04
474
转载 Apache Kafka安装
kafka基本架构Kafka Cluster:由多个服务器组成。每一服务器单独的名字叫broker(掮客)Kafka broker:kafka集群中包含的服务器Kafka Producer:消息生产者,发布消息到kafka集群终端或服务Kafka Consumer:消息消费者消费数据Kafka Topic:主题,一类消息的名称,存储数据时将一类数据存放在某个topic下,消费数据也是消...
2019-07-15 15:59:58
108
原创 hue安装
1.下载安装包2.解压 tar zxvf hue-3.9.0-cdh5.14.0.tar.gz3.联网安装各种必须的依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt...
2019-07-15 15:59:05
589
原创 azkaban安装
有三个安装包解压Azkaban Web 服务器:tar zxvf azkaban-web-server-2.5.0.tar.gz -C /export/servers/Azkaban 执行服务器:tar zxvf azkaban-executor-server-2.5.0.tar.gz -C /export/servers/azkaban 脚本导入: tar zxvf azkaban-s...
2019-07-15 15:58:21
90
原创 Zookeeper
Zookeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。Zookeeper本质上是一个分布式的小文件存储系统(建议每个节点的大小不超过1M)。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据的变化,从...
2019-07-01 08:56:02
152
转载 nginx启动报错
问题一[root@node01 nginx]# sbin/nginx -s reloadnginx: [error] open() "/export/servers/openresty/nginx/logs/nginx.pid" failed (2: No such file or directory)logs文件夹下没有nginx.pid文件出现上述错误,解决方法使用nginx -c...
2019-04-21 14:57:18
134
原创 redis伪集群部署
1 下载rediswget http://download.redis.io/releases/redis-3.0.6.tar.gz2 解压,安装tar zxvf redis-3.0.6.tar.gz cd redis-3.0.63 下载编译环境并编译yum install readline-devel pcre-devel opens...
2019-04-21 10:22:35
410
转载 Elasticsearch入门
使用root用户创建一个专门的用户es,并创建文件夹 useradd es mkdir -p /export/servers/es mkdir -p /export/data/es mkdir -p /export/logs/es chown -R es /export/servers/es chown -R es /export/data/es ...
2019-04-07 20:10:53
226
转载 hive启动时的问题
hive 启动时的问题Logging initialized using configuration in jar:file:/export/servers/hive-1.1.0-cdh5.14.0/lib/hive-common-1.1.0-cdh5.14.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.Run...
2019-04-05 18:20:40
938
原创 Apache Hive
大数据流程数据分析计算(MapReduce)Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。数据仓库的主要特征:数据仓库是面向主题的、集成的、非易失的和时变的数据集合,用以支持管理决策。数据仓库不产生数据 单纯的数据分析平台,集成化的数据分析平台面向主题的:主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合、归...
2019-04-05 17:29:09
119
转载 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hadoop, access=WRITE, inode="/a":root:supergroup:drwxr-xr-x at org.apache....
2019-04-03 20:10:22
2110
转载 认识RDD
RDD的属性一组分片(Partition),即数据集的基本组成单位。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPUCore的数目。一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的,每个RDD都会实现compute函数以达到这个目的。com...
2019-04-02 17:19:30
225
原创 spark:使用scala写的简单的wordcount
解析普通本地文件import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDobject WordCount { def main(args: Array[String]): Unit = { //本地模式 val sparkConf = new SparkConf()...
2019-04-01 19:41:13
230
原创 echarts入门
echars、highcharts、DataV数据可视化echarts源码链接:https://echarts.baidu.com/examples/#chart-type-globe引入echarts.js文件<script type="text/javascript" src="js/echarts.js"></script>确定一个有高有宽的dom容器 比...
2019-03-27 17:10:04
103
原创 scala入门(三)
面向对象class和object的区别class就是普通的类,调用其他方法或者属性需要获得类的实例object是单例对象 不用new可以直接调用方法属性 效果上看相当于java中static修饰的因为main方法是程序的入口 需要的一个调用,所以通常把main方法写在object中val和var的区别main方法def main(args : Array[String]):Un...
2019-03-27 15:15:11
146
原创 scala入门(二)
数组定长数组:val arr1 = Array(11,21,31) 有初始值val arr2 = new Array[T] (数组长度) 无初始值, T表示数组的类型变长数组:(使用前需要导包 import scala.collection.mutable.ArrayBuffer)val arr1 = ArrayBuffer(4,2,4) 有初始值val arr2 = ne...
2019-03-25 20:51:19
115
原创 Hive入门
字段截取select substring(字段名,从第几位,截取几位) as 别名 from 表名 limit 2;时间截取:使用substringurl截取:使用hive的内置函数parse_url_tuple删除表数据,但不删除表结构truncate tbale 表名;hive的自定义函数:UDF:一进一出,只对单行数值产生作用 普通函数;用的最多的UDTF(Use...
2019-03-23 19:38:07
127
原创 scala入门(一)
安装下载:https://www.scala-lang.org/download/2.11.8.html解压:tar zxvf scala-2.11.8.tgz -C /export/servers/配置环境变量:vi /etc/profileexport SCALA_HOME=/export/servers/scala-2.11.8export PATH=$PATH:$SCAL...
2019-03-23 11:35:48
97
原创 hive启动正常但执行语句时出错
报错信息:出现这种情况一般是配置问题:1.首先查看mysql服务是否启动。启动mysql服务:/etc/init.d/mysqld start最好设置为自启动:设置自启动:chkconfig --level 345 mysqld on重启生效:reboot2.查看hive的conf下的配置文件是否已经配置好用户名密码:<configuration> ...
2019-03-20 16:22:18
1132
转载 openResty安装
1.下载安装环境yum install -y libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl2.创建安装目录mkdir -p /export/servers/openrestycd /export/servers/openresty3.下载openresty-1.13.6.1.tar.gz并解压cd /expor...
2019-03-18 21:57:15
192
原创 nginx服务器安装
1.在nginx官网下载所需nginx安装包,这里使用的nginx-1.8.0.tar.gz.2.安装依赖环境: 由于nginx为C语言开发的, 所以需要下载C语言的依赖环境.yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel.3.上传nginx安装包nginx-1.8.0.tar.gz4...
2019-03-18 21:56:41
166
原创 android-sdk安装
解压压缩包:android-sdk_r24.4.1-windows.zip进入文件夹android-sdk-windows选择23.0.2等它下载完
2019-03-18 21:55:15
138
原创 linux-查找命令
grep 命令grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。格式:grep [option] pattern [file]可使用 -help 查看更多的参数。使用实例:ps -ef | grep sshd 查找指定ssh服务进程ps -ef | grep sshd | grep -v grep 查找指定服务进程,排除grep本身ps -ef ...
2019-03-09 16:16:24
78
原创 使用idea打war包
1.将整个maven工程先下载一下2.在子工程下选择package3.去工作空间找到自己的项目然后进入target就可以看到war包。4.可以使用压缩软件打开看看打包是否正确。...
2019-02-20 19:58:03
964
原创 使用idea打jar包
1.在工程的pom.xml文件中添加打包插件 &lt;plugin&gt; &lt;artifactId&gt;maven-assembly-plugin&lt;/artifactId&gt; &lt;configuration&gt; &lt;archive&
2019-02-20 19:27:04
363
原创 redis安装
创建目录mkdir -p /export/serversmkdir -p /export/softwaremkdir -p /export/logsmkdir -p /export/data下载到software$ wget http://download.redis.io/releases/redis-5.0.3.tar.gz解压到servers$ tar -zxvf redis...
2019-02-14 15:42:37
83
转载 JS常用正则
JS常用正则校验 正则表达式&lt;script type="text/javascript"&gt; window.onload = function () { //手机号 var reg = /^1[35678][0-9]{9}$/; //身份证号 // 身份证号码为15位或者18位,15位时全为数字, // 18位前1...
2018-12-12 20:12:55
144
原创 关于添加,删除外键的小记
– 创建员工表create table coder(id int primary key auto_increment,name varchar(20),salary double);– 创建项目表create table project(id int primary key auto_increment,name varchar(20));– 创建中间关系表create ...
2018-12-03 19:24:57
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人