ccsynl的博客

原创 kafka创建删除查看topic的命令

创建topic的命令（例：创建topic test）bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic testpartitions是主题分区数，replication-factor是主题副本数量删除topic的命令（例：删除topic test）bin/kafka-topics.sh --delete --zookeeper localhost:2

原创 脚本一键关闭hbase，zkServer,hive,hadoop集群

#!/bin/bashstop-hbase.shzkServer.sh stopres=`ps -ef|grep RunJar|grep Hive | awk {‘print $2’}`for i in $resdokill -9 $idonestop-all.sh记得运行脚本时更改权限

原创 一键安装jdk、hadoop、spark、mysql、hive、sqoop、hbase、zookeeper、kafka脚本

#! /bin/bash#首先给脚本授权#chmod 777 setup.shecho ‘full system install begining…’#global var 设置全局变量ipAddr=falsejdk=falsemysql=falsehadoop=falsehive=falsesqoop=falsezookeeper=falsehbase=falsespark=falsekafka=false#addrIp setting#设置虚拟机别名：hostnamect

原创 scala写二维图形

*************** **** *** ** *for(i <-1 to 5){for(j <-1 to 6-i){print("*")}println()} for(i <-1 to 5){for(j <-1 to 5-i){print(" ")}for(j <-1 to 2*i-1){print("*")}println()}for(i <-1 to 5){for(j <-1 to

原创 scala函数自我小结（待更新）

这周进行了Scala函数的学习，我对这周学习的函数进行了自我小结。**++**这个函数用来执行合并集合操作，会有返回值，返回一个新数组，新数组包含左右两个集合对象的内容。scala> val a = Array(1,2,3) a: Array[Int] = Array(1, 2, 3)scala> val b = Array(4,5,6)b: Array[Int] = Array(4, 5, 6)...

原创 解决xftp文件传输失败的问题

上周在 用xftp上传文件的时候，出现了传输失败的问题，搜索了一下解决方案。由大神解答得知，是传输到虚拟机的文件权限不够。我们的解决方案有两种第一种就是修改文件的权限为777第二种就是将xftp切换到root 用户下进行传输我在此篇博客中记录在学习中出现的一些问题，希望对大家有所帮助。可直接去往原帖查看参考网址：https://blog.csdn.net/weixin_42030357/article/details/96185533?utm_medium=distribute.pc_releva

原创 sqoop的安装配置

首先进行配置我们需要提前准备压缩包sqoop-1.4.6-cdh5.14.2.tar.gz以及一些依赖jar包java-json.jar & mysql-connector-java-5.1.27-bin.jar将压缩文件解压到指定目录中重命名 mv sqoop-1.4.6-cdh5.14.2/ sqoop146将mysql和json依赖包拷贝到sqoop146/lib/中 [root@vwmaster lib]# pwd /opt/bigdata/hadoop/sqoop146/

原创 hive函数

原创 如何启动hadoop集群

如何启动hadoop集群vwmaster即nn1vwslave01即nn2在主机vwmaster以及各个从机输入命令[root@vwmaster sbin]# zkServer.sh start[root@vwslave01 sbin]# zkServer.sh start[root@vwslave02 sbin]# zkServer.sh start[root@vwslave03 sbin]# zkServer.sh start然后在nn1即主机输入命令[root@vwmaster s

原创 关于idea找不到外部资源库External Libraries的解决办法

前两天我突然发现我的idea的左侧外部资源部没了，虽然没有什么影响，但是看不见我导进来的jar包 了，我找了好久才找到了解决办法。并且本人亲测有效。只要找到C:\Users\user.IntelliJIdea2018.2\config\options 这个目录下配置文件projectView.xml并且将他删除 然后打开idea的进行清除缓存操作，再重新打开idea即可解决问题...

原创 配置好网络的虚拟机突然连不上外网了，应该怎么解决

对虚拟机进行网络配置后（具体操作见我之前的博客），停止并禁用防火墙以及重启网络服务后，发现还是连不上外网。可以执行以下的操作。systemctl stop NetworkManagersystemctl disable NetworkManager然后再重启网络服务就好啦systemctl restart network随后我们可以检查网络状态systemctl status network然后尝试继续去ping外网的操作，就可以成功啦。...

原创 linux系统下Elasticsearch-head-master安装和启动以及grunt工具包的安装

安装elastic-head-master压缩包的命令yum install -y unzip zip执行解压操作unzip elasticsearch-head-master.zip.将解压后的文件移动到你的目标安装路径,并将他的名称进行改短操作 mv elasticsearch-head-master opt/bigdata/ mv elasticsearch-head-master eshm安装并配置node见上一篇博客进行准备工作切换国内镜像： npm c..

原创 linux系统下安装NODE

首先我们对node压缩包进行解压和安装。我用的node安装包如下所示。随后我们将安装包进行解压tar -zxvf node-v8.9.1-linux-x64.tar.gz -C /opt/bigdata/此目录是你需要解压到的指定目录对解压好的文件进行改名mv node-v8.9.1-linux-x64 node891开始进行环境变量配置vi /etc/profileexport NODEHOME=/opt/bigdata/node891export PATH=$PATH:$NODEH

原创 vmware虚拟机如何进行配置连接外网

在本周的学习中我们主要使用看VMware这个应用程序来进行虚拟机的操作。让虚拟机连上外网是一个必要的操作。1.启动虚拟机，使用用户和密码进入2.进行网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens33其中IPADDR是自定义的IPGATEWAY的IP第三段一般和自定义IP第三段相同Esc之后 ：wq！ 保存并退出停止并禁用防火墙systemctl stop firewalldsystemctl disabled firewalld重

原创 linux系统下安装jdk

这周我们学习了在linux系统下安装jdk、tomcat以及mysql。下面我来简要概括一下安装jdk的过程以及需要进行的一些操作。首先，我们在opt这个目录下创建两个文件夹install以及bigdata，在opt/install这个目录下安装源文件，在opt/bigdata这个目录下安装目录。在x’ftp中opt/install这个目录下上传jdk的安装包，我们使用的版本如下图所示。上传成功后，进入opt/install下使用ls命令看看安装包是上传成功。下面开始进行安装包的解压操作。-C 后面

原创 JAVAWEB基础知识01

这周的学习的重点就是Java Web，是用Java技术来解决相关web互联网领域的技术栈。web包括：web服务端和web客户端两部分。我们需要了解一下web的一些相关概念软件架构C/S：客户端/服务器端B/S：浏览器/服务器端资源分类静态资源：所有用户访问后，得到的结果都是一样的，称为静态资源.静态资源可以直接被浏览器解析* 如： html,css,JavaScript动态资源:每个用户访问相同资源后，得到的结果可能不一样。称为动态资源。动态资源被访问后，需要先转换为静态资源，在返回给

原创 IDEA和tomcat进行的相关配置

IDEA会为每一个tomcat部署的项目单独建立一份配置文件查看控制台的log：Using CATALINA_BASE: “C:\Users\fqy.IntelliJIdea2018.1\system\tomcat_itcast”工作空间项目和tomcat部署的web项目tomcat真正访问的是“tomcat部署的web项目”，“tomcat部署的web项目"对应着"工作空间项目” 的web目录下的所有资源WEB-INF目录下的资源不能被浏览器直接访问。断点调试：使用"小虫子..

原创 数据库查询

1、简单查询select FIELDS... 列筛选 from TABLENAMEwhere ... 原始数据行筛选 group by FIELDS... 左1位为主，其右依次为辅,以逗号分隔having ... 分组结果二次筛选 order by [FIELD ASC默认/DESC]... 排序limit 当前页码：pageNo，每页数据量：pageSize，总页数：total (pageNo-1)*pageSize,pageSize

原创 Red_Hat_Linux下忘记root密码的解决办法

#找到mysql配置文件cd /find -name ‘my.cnf’vi /etc/my.cnf[mysqld]skip-grant-tables 免密登录esc:wq!systemctl restart mysql#免密登录mysql -u root#修改密码update user sert password=password(‘yaochengyao1997’) where user=‘root’;quit;/exit/ctrl+c;vi /etc/my.cnf[mysql

原创 如何解决在linux系统下mysql不允许插入中文的问题

1、#进入mysql查看当前字符集信息 show variables like 'char%';2、#如果出现以下信息，是不允许中文插入的原因character-set-database latin1character-set-server latin13、#ctl+c退出mysql返回lunix #查找mysql配置文件路径find -name '*.cnf'4、#编辑配置文件...

原创 配置maven的环境变量

1.右击此电脑，点击属性2、点击高级系统设置3、点击环境变量4、在系统变量里找到Path双击5、单击新建，将maven的bin目录所在地址粘贴进去6、点击确定就完成了

原创 java的高级特性——线程锁

锁1、分类：乐观锁悲观锁A. 共享锁B. 排他锁公平锁，非公平锁2、悲观排他非公平锁1) 同步方法 public Sychronized void show(){ this.wait(int millisec) .... this.nodify();/this.notifyAll() } 锁为当前对象 2）同步代码块Sychronized(locker){locker.wait(int

原创 java的高级特性——线程1

线程(1) cpu进行调度的最小单位(2) 进程：运行中的应用(3) 一个进程中至少有一个线程，该线程由jvm发起，称之为主线程(4) 线程的生命周期 1、创建线程对象： 新生new born 2、调用start方法后： 就绪ready(程序员对线程不可控) 3、CPU 调度后 运行running 阻塞blocked(sleep/wait(0)-> notify) 阻塞状态正常结束后，进入就绪状态 4、run方法结束： 死..

原创 一些常见的异常情况

异常(1) Error: jvm 监管范围外的,可以捕获，但是无法解决(2) Exection:既可以捕获，也可以解决a.Exception:编译异常，强制处理 (1) java.lang.InteruptedExcuption (2) java.util.concorrent (3) java.io.IOEXception 创建文件但是目录不存在(流的读写操作) (4) java.io.FileNotFoundException 文件不存在异常（一般针对读取流） (5) java.l.

原创 Java oop的继承

继承:extends(1) 子类继承父类：在每个子类对象中都有一个独有的父类对象 this是当前对象this(参数列表)在当前类写构造方法中调用其他重载构造 super是父类对象，super(参数列表)在子类构造中调用父类的构造 this()||super()必须位于第一行(2) 继承是一种高级封装(3) 不能继承父类内容有：私有的成员变量和方法、构造方法、非同包父类受保护类型 protected(4) 通过访问修饰符和包进行访问权限控制 类内 同包 ..

原创 Java OOP基础知识2

类方法（1）入口方法：public static void main(String[] args){…} jvm 执行（2）构造方法：public 类名(参数列表){…} 初始化类属性（3）toString方法：类信息（4）自定义方法：访问修饰符：返回类型 方法名称(参数列表){方法体；}a. 访问修饰符：public protected 默认/friendly privateb.返回类型：方法调用后返回值的类型是否需要返回值不需要返回值：void return 执行功能1需要返

原创 Java OOP基础知识1

1.OOP:Object Oriented Programming 面向对象的编程（1）OO：程序员将一类具有一类相同属性和行为的事物抽象描述出来叫做类->对象->(万物皆对象)->引导对象干活（2） 类：属性：静态特征，成员变量，全局变量 a. 基本类型 b. 引用类型：对象 任何对象都可以初始化为系统常量null 行为：动态特征，方法，函数（3）类基本结构public class 类名{//属性：变量 private static

原创 如何进行调试文档

一. 调试(1) 功能：排错(2) 错误类型： 异常:java 高级特性中会有一章Java异常 错误：运行结果和预期结果不一致(3) 操作步骤1、根据经验判定代码出错范围2、在可能出错的代码段的首航设置断点：单击行首，切换断点 1) 根据经验，如需在调试中跳段，在需要停顿的地方设置多个断点，否则默认为逐行调3、启动调试：debug4、单步执行 1) 跳过：F6快捷键 2) 跳入：F5 3) 跳到下一个断点：F85、观察三个区域，

原创 Java代码书写规范

一．类名命名规范： 类名：命名规则 首字母：为大写的英文字母/_/$/¥ 其他部分：可以是英文字母/_/$/¥/数字 整体命名：见名知意public class Hello{ //java 的文件执行入口Public static void main(String[] args){ //控制台输出，输出后换行 System.out.println(“hello world”) } }二．变量的命名规范：首字母：为小写的英文符号/_/$/¥其他部分：可以是英

原创 数组的排序方法介绍

JAVA中在运用数组进行排序功能时,一般有四种方法:快速排序法、冒泡排序法、选择排序法以及插入排序法。下面我来给大家介绍一下。快速排序法快速排序的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。冒泡排序法冒泡排序的方法是：重复地走访过要排序的元素列，依次比较两个相邻的元素，如果顺序错误就把他们交换过来。走访元素的工作是重复地进行直

原创 数组的基本概念详解

（1）数组的定义数组指的是一组类型相同的连续的存储空间的表示（2）一组内可以包含的元素数量0~N（这个N取决于内存的最大值)(3)数组的优势：寻址快

原创 logic Java循环结构2

本节介绍while循环、do while 循环以及双重循环1.While循环：1、循环次数不固定While（2、条件）{ 先进行判断[变化]3、语句块；4、变化；}Do while循环 1、循环的变量声明和初始化 循环次数不固定 Do{ 后进行判断 [变化] 3、语句块； 4、变化； } While(2、条件);3.二重循环 外层循环走一遍，内层循环走一圈1)不带contiinue

原创 logic Java循环结构1

1、循环(1)概念：重复(2)语法： 1)for循环 ：循环次数固定，重复执行for(变量的声明和赋值;循环条件;变量值的变化){ 语句块；（被重复循环的部分） } (3)循环的四要素 1)存在重复操作2）如何确定循环四要素：a、确定变量的初值和类型b、确定循环的条件 c、确定变量值的变化趋势和步幅 d、确定重复的代码3）验证循环是否能够正常结束 a、避免死循环现象发生循环跳转语句a. Continue 结束本次循环；进入下次循环b. break

原创 Java新手入门知识3

1.程序逻辑(1) 分支结构:分为单分支、双分支、多分支以及嵌套分支单分支：如果条件为true执行语句块，条件为false不执行 if(条件){语句块; }双分支：如果条件为true执行语句块1，否则执行语句块2if(条件){ 语句块1;}else{ 语句块2;}多分支：1）if…else if…else 这种分支用来针对连续的区间判断如果条件1为true就执行语句块1，条件2为true就执行语句块2，条件3为true就执行语句块3，都不满足就执行语句块4，总之只会有一个语句块

原创 Java的常用工具

1、格式化字符串(1) import java.text.MessageFormat; (2) String format = MessageFormat("{0}xxx{n}",xxx,xxx);2、日期工具(1) import java.util.Date; (2) Date now = new Date(); 获取系统当前日期+时间(3) Date fix = new(long num); 根据指定的长整数创建日期对象3、日期格式化(1) import java.util.Si

原创 Java新手入门知识2

Java新手入门知识2基础数据类型之间的转换（1） 数值类型之间的转换：整数和小数之间的数值的类型转换（2） 不同数值类型值的大小关系：byte<short<int<long<float<double（3） 两种转换类型分别是自动类型转换（小转大）和强制类型转换（大转小，int转long,double转float），重点需要关注的是强制类型在转换的时候会丢失精度。控制台的输入需要（1） 导包：import.java.util.Scan

原创 Jave新手入门知识1

Jave新手入门知识1Java是什么？答：Java是一种编程语言，Java的平台有JDK：指Java开发工具包；JRE：Java运行时环境；Java通过JVM（虚拟机）可以实现跨平台。一个Java的执行程序是由编写Java源程序到编译成字节码随后执行字节码文件这样的一个过程。Java类文件的基本结构如：public class Hello{…} -这里的Hello是一个类名,类名的命名原则：首字母为大写英文字/_/$/￥，其他部分可以是英文字母/_/$/￥/数字，整体命名符合见名知义的原则。Ja