- 博客(45)
- 收藏
- 关注
RSS订阅原创 Pycharm下连接hive的两种方式！！解决各种姿势报错
window pycharm下用spark连接hive操作数据一、在/opt/soft/spark234/conf下导入hive-site.xml二、把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars三、sbin下 ./start-all.sh 启动spark服务bin下 ./pyspark 开启软件四、执行命令 df = spark.sql(“select * from dws_ev
2020-12-24 12:28:33
2825
原创 Sqoop从mysql导数据到hdfs+从mysql导数据到hive
#mysql-hdfs#wheresqoop import \ --connect jdbc:mysql://192.168.133.195:3306/mmm \ --driver com.mysql.jdbc.Driver \ --table userinfos \ --where 'userid<3' \ --username root \ --password root \ --delete-target-dir \ --target-dir /mytmp/datas \
2020-11-11 19:53:18
163
原创 Git安装教程（多用户共同开发）
1.下载并安装git：https://git-scm.com/downloads2.安装成功后打开Git Bash，输入下列命令，设置git全局用户名和邮箱3.在IDEA中全局模式下设置settings–>Version Control–>Git(test时显示正确版本则配置正确)4.创建本地仓库，VCS–>Import into Version Control–>Create Git Repository…在弹框中选中项目所在的位置，点击OK，此时项目文件全部变成红色
2020-10-21 19:36:20
323
原创 spark(Dataset+DataFrame)详细介绍
一、广播变量（broadcast）广播变量存放在Executor上，所有Executor上的所有task公用广播变量，普通变量存放在每个Executor上的每个task上二、累加器（不常用）例：val accum = sc.accumulator(0,“test_name”)sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x)accum.value //调用三、RDD分区设计（1）分区大小限制2GB（2）分区太少不利于并发更容易受
2020-10-14 10:26:31
292
原创 Java高频知识合集（1）
1、数组操作（1）增 int[] array = {2,5,13,27,55,57,76,82,99};//建有序数组 Scanner input = new Scanner(System.in); System.out.println("请输入需要插入的值："); int t = input.nextInt();//读取控制台输入的值 int i = array.length-2;//数组插入末尾默认补个0，所以array.length-2就是99的位置 for
2020-10-08 10:39:56
142
原创 SQL+HIVE 题目：查询下周过生日的学生
就这短短一个小问，本人汗颜，花了近两个小时才搞明白，具体步骤如下，望指正！1、表内容 首先考虑什么是下周：现在可以得到的是现在的时间，current_data()，在通过dayofweek可以知道现在是周几。 确定星期几之后，就要弄清楚从今天到下周一差了几天，经过测试可以发现用9减去星期数在加上当前日期就可以得到下周一的日期，然后在用date_add()，就可以计算出下周日的日期 最后就是排查学生生日的月份和天数在这两个日期之间的人，本人就是一直在这里卡壳了，首先我直接想取出月份
2020-09-23 19:18:16
2617
1
原创 Spark项目打包+日志输出格式
一、项目打包方式Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码：<plugin> <groupId>org.scala-tools</groupId>
2020-09-22 16:32:11
537
原创 scala 正则超详细总结！！！
一、scala正则表达式-1Scala支持多种正则表达式解析方式（1）String.matches()方法例：var a = "!123".matches("[a-zA-Z0-9]{4}")println(a)结果：false（2）正则表达式模式匹配var source = Source.fromFile("D:\\wcl.txt","UTF-8")var lines = source.getLines.toArrayval reg = """([A-Z]+) ([0-9]{4}-[0
2020-09-17 16:06:34
991
原创 scala 中缀表达式和中置操作符
一、中缀表达式（：：）中缀表达式的关键字就是：：，下方代码通过match+：：进行模式匹配，只有当第一个case条件中的size-1个（即one，two，three，four全部匹配成功）匹配成功，才会执行第一个case语句，并执行println代码，输出第一、第四以及rest处的数据，不然走第二条case语句，输出nihaoList(1,2,3,4,5) match { case one :: two :: three :: four :: rest => println(one,four,
2020-09-15 20:14:14
368
原创 scala 方法大全（你必须掌握的百种方法！！！）
–scala函数整合– ++ 合并集合，并返回一个新的数组var k = Array(1,2,3,"a")var e = Array("a","b","c")k++e结果：Array(1,2,3,a,a,b,c)(新数组)– ++：并数组，结果由冒号右边类型决定var d = List(1,2,3,4)var f = Array("a","b","c")d++:f结果：Array(1, 2, 3, 4, a, b, c)f++:d结果：List(a, b, c, 1, 2, 3,
2020-09-10 16:40:15
1141
1
原创 Thread（多线程并发+线程池），超详细回顾！！！
一、不使用线程池通过：Thread[] ths = new Thread[10];实现多线程并发1.run方法编写run方法，即计算方法，让10个线程同时调用run方法实现并发操作例如：计算1~100的和（方法一）：0 ->1~10 ; 1 -> 11~20 ; …9 -> 91~100static void call(int ix){//分段方式一(1~10) int sum = 0; for (int i = ix*10+1; i <=
2020-09-07 21:55:58
373
原创 HiveServer2报错Permission denied:user=anonymous,access=EXECUTE,inode=“/tmp“:root:supergroup:drwxrwx---
Error: Failed to open new session: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx—提示：/tmp没有权限，对其授权即可！关闭之
2020-09-03 17:59:32
1159
原创 idea Dmaven.multiModuleProjectDirectory=$M2_HOME报错！！！
idea Dmaven.multiModuleProjectDirectory=$M2_HOME!!!在启动maven工程的quickstart时，报了这个错误，用了一个多月的idea突然错处，看的我一脸萌币啊，在网上各种查找，基本上能用的方法都试了一遍，简直心力憔悴了！最让人生气的是过程中的确找到的貌似正确的方法，但是因为操作不当，一直与正确答案擦肩而过，下面我把这次修改过程详细的叙述一遍，希望能解决你的问题。大致可以分为两步一、首先在环境变量里添加maven的环境变量，如下图：该步骤旨在方便
2020-08-31 14:55:24
1020
原创 hadoop高可用集群搭建——完整步骤整合版
一、进去hadoop安装目录[root@vwmaster hadoop]# pwd/opt/bigdata/hadoop/hadoop260/etc/hadoop二、继上步，编辑hadoop-env.sh[root@vwmaster hadoop]# vi hadoop-env.shexport JAVA_HOME=/opt/bigdata/java/jdk180export HADOOP_PID_DIR=/opt/bigdata/hadoop/hadoop260/data/pids三、编
2020-08-26 11:37:30
430
原创 UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z！！
错误：java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z如果在执行hadoop项目时出现此处问题，主要有三个方法：方法一：在hadoop的安装目录下：E:\hadoop\hadoop260\bin，增加两个文件winutils.exe和hadoop.dll，然后重新执行即可。方法二：方法一如果解决不了问题，那也有可能是你hadoo
2020-08-20 19:45:22
954
原创 Window下启动Hadoop出错，Failed to locate the winutils binary in the hadoop binary path!!!
在编写Hadoop项目时，已经完成了在map中分词操作，以及reduce中的计算统计。就在即将成功的时候，一道晴天霹雳从天而降，痛不欲生！！Failed to locate the winutils binary in the hadoop binary path!!!言归正传，出现上述问题可采取以下步骤1、在window下安装hadoop（版本随意，尽量选取版本较新且使用量多的）2、安装完成后，导入winutils.exe和hadoop.dll到安装路径的bin目录下（两个文件需要自己去网上当）
2020-08-18 17:38:10
358
原创 Elasticsearch+HeadMaster+NodeJs环境搭建，操作命令合集！！！
一、Elasticsearch基础概要1、非关系型数据库（1）元素库：索引 index 一个index中只能有一个type表：类型 type（2）特点：倒排索引 ① we are family ② we will lost the only chansce ③ are you happy ④ lost meybe not mean lost we 1-1 2-1 are 1-2 3-1 family 1-3 will 2-2 lost 2-3 4-1 4-5
2020-08-17 17:22:31
440
1
原创 错误！！！This is probably not a problem with npm. There is likelyadditional logging output above.
Linux下装headmaster时，在输入npm install命令时出现了如图所示的错误，查错误，找资料，在网上搜索了半天，都是各种不着边际的解决方案，步骤复杂不说，还解决不了问题。其实，在出现类似于此类的错误时，不需要着急去网上搜索，仔细检查错误，你会发现大部分的错误都是有提示的，比如此处：Failed at the phantomjs-prebuilt@2.1.16 install script.提示我们在安装script时failed，在网上查一下后，其实在安装headmaster时scr.
2020-08-12 16:47:13
577
原创 Shell编程，基础知识总结！
一、shell1、创建文件设置权限① touch kb0802.sh② chmod u+x kb0802.sh1）#！/bin/bash2）echo 'hello world'3）:x③ ./kb0802.sh2、变量类型及创建变量① 系统变量 set方法显示所有系统变量常用系统变量如下：$PATH $PWD $USER $UID $HOME $HOSTNAME②自定义变量 1）数据类型： a. 弱类型（通常为字符串、数值） b. 数组（【val1,…,
2020-08-10 09:43:57
162
原创 虚拟机+Linux+软件安装（jdk/tomcat/mysql）+环境配置！
注：在虚拟机下安装Linux系统此处不再赘述，详情可见以往博客一、在下载及解压文件之前建议建好文件夹，方便存放，统一管理如：（1）opt/install 安装源文件 （2）opt/bigdata 安装目录二、压缩+解压缩（1）压缩格式① zip / unzip② gzip / gunzip③ tar ④ tar.gz⑤ tar.xz（2）文件解压① xxx.tar tar -xvf xxx.tar -C path② xxx.tar.gz tar -zxvf xxx.t
2020-08-04 17:41:11
173
原创 Linux基础命令+（个人珍藏，破例共享）
(1) clear 清屏 (2) pwd 显示当前目录 (3) cd name/ /name / ../ 切换目录(4) ls [-la] 查看当前目录[详情]
2020-08-03 20:10:52
282
原创 Mybatis初次配置，需要你特别注意的几个问题
一、Mybatis 1、半自动化ORM框架（1）编写SQL语句 手写（2）参数动态映射 自动2、Mybatis配置（1）依赖jar包① mysql driver<!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</
2020-07-30 15:49:46
255
原创 Java面试的重要题型（1），熟记！！！
概况如图：一、java基础1.JDK 和 JRE 有什么区别？JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。JRE：Java Runtime Environment 的简称，java 运行环境，为 java 的运行提供了所需环境。2.== 和 equals 的区别是什么？==:对于基本类型和引用类型 == 的作用效果是不同的，如下所示：基本类型：比较的是值是否相同；引用类型：比较的是引用是否相同；equal
2020-07-30 13:24:34
141
原创 MYSQL+JAVA+WEB 工程创建 全过程 再现！
一、新建web项目并配置（简易版，详情可见以往博客）二、创建成功后进行项目配置1.Project Structor中配置如下2.Add Configuration 中配置tomcat，配置如下：（详细步骤见以往博客）三、如果有提前写好的，或需要用的maven包提前导入pom.xml，完成准备工作,位置如下图所示，具体maven包可以该网站获取：https://mvnrepository.com/四、在web.xml中配置web版本，以及导入相关maven包的基础配置，比如此处，我会添加侦
2020-07-22 17:37:08
478
原创 maven+jar包的两种导入+导出方式，值得一看
普通 jar 包的导出1.点击 file 中的project.structor=>选择Artifacts=>+=>选择 jar+=>选择from modules with dependencies2.如果你的 jar 包具有主函数main，即为可执行jar包则需要在下图所示处，输入主函数位置，点击右边文件夹，选择主函数即可3.选择好后点击OK，切记下一步需要先应用在OK4.导出成功后点击Builder=>build artifacts=>build/rebu
2020-07-16 09:51:49
767
原创 IDEA+MAVEN创建JavaWeb项目，解决你问题的不二选择！
JSP基础知识简介 一、JSP：Java Server Page：HTML+JAVA ------以.isp结尾 二、java.web 1.MVC （1）model：数据持久化 base(jdbc)(面向所有表) + dao(jdbcseal)（面向单张表） + biz(business) （2）control：控制层 servlet/control （数据+页面） （3）view：视图层 xxx.jsp 三者控制关系入下图所示： 三、servlet
2020-07-14 12:15:22
259
原创 IDEA配置maven工程全过程，有疑问的小朋友可以点进来看一下哦！
步骤一首先进入idea初次登陆界面，如图：步骤二点击config，选择setting，进入相应页面，如图：步骤三在搜索框中输入maven，并配置右侧maven home directory，路径地址为maven包的解压后的存储路径，如图：步骤四在maven的安装路径下，找到D:\software\apache-maven-3.5.4\conf，进入后选择编辑settings.xml，初次进入可能会出现大量数据，不用害怕，大多数对于正常maven工作者来说没有多大用处，删除即可（mave
2020-07-08 19:34:58
239
原创 Mysql数据库操作的基本语法
一、数据库定义1.数据库 database2.自定义：库>表>（表结构+表数据+索引（数据结构：查）+自定义函数+存储过程）二、数据的完整性和条件约束1、实体完整性：（行的唯一性）唯一性约束（1列）unique key 主键约束（1~N列） primary key自增列（1个数值类型列） auto_increment2、域完整性：为列选择恰当的数据类型非空约束 not null默认值约束 default3、引用完整性外键约束 for
2020-07-07 18:53:49
276
原创 配置Linus虚拟机以及Mysql安装教程，亲测有效
一、虚拟机配置完整步骤 1.根据用户名、密码登陆虚拟机 2. 配置ip文件 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3(vi 可编辑) cat /etc/sysconfig/network-scripts/ifcfg-enp0s3(cat仅可查看) （如果是双网卡，查询时会出现enp0s3以及enp0s8,均按照enp0s3配置） 3.更改相关参数 进入后首先点击 i 进入编辑模式，然后按以下三步逐一更改 BOOT
2020-07-02 10:35:07
388
原创 CSS/JS实用技术总结！
实用技术总结！1.考虑到html在设计时的后续扩展问题，通常情况下需提前确定好body的基础参数 举例如下： body,body *{//此处有空格 margin:0; padding:0; box-sizing:border-box; font:14px/1.2 arial,"MicrosoftYahei"; }2.确保字体在盒子里垂直水平居中 width：20px; height:20px; text-align:center;//水平居中 line-height:20px;/
2020-06-30 10:38:33
185
1
原创 想让你的页面动起来吗？一起来学 JS和JQUERY 吧！（提高篇）
一、 获取 html 标签对象1、js获取 html 标签对象 1）根据选择器获取 （1）根据id选择器获取唯一对象 var e = document.getElementByld(idStr); （2）根据class选择器获取对象数组 var arr = document.getElementsByClassName(classStr); （3）根据标签选择器获取对象数组 var arr = document.getElementsByTagName(tagName); （4）根据
2020-06-26 13:31:28
142
原创 想让你的页面动起来吗？一起来学 JS 吧！（基础知识篇）
目录：一、JS基础概念二、数组对象的创建和操作三、日期对象的创建和操作四、普通对象创建五、函数创建（function）一、JS基础概念1… js：java script js：基于对象，解释执行 java：面向对象，编译执行2. html引入js的方式 （1）内部 js：body的最后一行 <script> ... </script> （2）外部：js <script src="path"></script>//当今主流
2020-06-23 13:33:16
197
原创 帮助你的网页更加精美——CSS不可或缺！！！
一、基础概念（1）概念：Cacading Style Sheet 层叠样式表 在HTML中实现: 1)动静分离（独立的JS文件） 2)内容和表现分离（独立的CSS文件）二、HTML中嵌入CSS的三种样式（1）行内样式 <tag style="..."></tag> 不推荐使用（2）内部样式 <head> ... <style> ... </style>
2020-06-20 11:30:45
205
原创 第二阶段来了！对HTML基础概念还有迷惑吗？快点进来吧！
HTML（超文本标记语言）注：html为解释执行（边解释边执行），此处要和java区分开1.项目模型C/S Client/Server TCP/UDP 数据 有状态协议B/C Browser/Server HTTP(S) 超文本 无状态协议2.标签类型自闭合：<… /> /
2020-06-18 13:13:39
171
原创 菜鸟的烦恼 ？ 反射
反射1、概念在程序运行时动态的解析类的内部信息（注解，属性，方法）的行为称之为反射。2、反射的功能（1）反射是java提供的一个重要功能，可以在运行时检查类、接口、方法和变量等信息，并且无需知道类的名字，方法名等。（2）反射可以在运行时实例化新对象，调用方法以及设置和获取变量值。（3）反射在框架设计中被广泛使用，例如当今流行的spring、mybatis框架等等，（4）JDBC利用反射将数据库的表字段映射到java对象的getter/setter方法。Jackson, GSON, Boon等类
2020-06-12 13:14:16
158
原创 线程+锁+流知识整合化解你的小疑惑
一、线程1、概念：CPU进行调度的最小单位注：一个进程中至少有一条线程，该线程有JVM发起，称之为主线程2、线程的生命周期 ① 创建线程对象： 新生 new born ② 用start方法后： 就绪 ready ③ CPU调度后： 运行 running 阻塞 blocked ④ run方法结束： 死亡 dead 3、如何开启一个线程① 匿名内部类创建线程 Thread thread = new Thread(){
2020-06-10 18:27:08
208
原创 常用工具类Util,掌握这些方法让你在写代码时事半功倍（留言互关！）
常用工具类1.格式化字符串2.日期工具及日期格式化3.常用数学函数4.随机数工具5.字符串类型转换6.包装类1.格式化字符串（1） import java.text.MessageFormat;（2） String format= MessageFormat.format(“{0}xxx{n}”,xxx,xxx);//输出格式例如： String info = MessageFormat.format("姓名：{0}\n性别：{1}" + "\n年龄：{2
2020-06-04 18:28:39
449
1
原创 JAVAOOP知识小点的精华帖（2）赠送排版快捷键哟！
1、继承（extends）（1）子类继承父类：在每个子类对象中都有一个独有的父类对象（2）继承是一种高级封装（3）子类无法继承的内容 1）私有的 private 2）构造方法 constuctor 3）非同包父类受保护类型Protected（4）访问权限控制 类内 同包 不同包子类 其他Private √Default √ √Protected √ √ √Public √ √ √
2020-06-02 17:35:59
216
原创 JAVAOOP知识小点的精华帖！！！
Javaoop：面向对象编程的知识小点@【】一、类定义：将某一类具有* 相同属性* 和* 行为 *的事物抽象描述出来叫做类（1）属性：静态特性，成员变量，全局变量（2）行为：动态特性，方法，函数（3）基本结构：Public class 类名{ //属性：变量 private static/final/transient(暂时的)/volatile（不稳定的） 数据类型 属性名； **…** //行为 //行为出
2020-05-28 21:05:57
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人