- 博客(60)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 全国计算机三级数据库知识点本人总结未来教育例题分析小白也能看的懂
数据库课本知识点共有14章节第一章 数据库应用系统开发方法第二章 需求分析第三章 数据库结构设计第四章 数据库应用系统功能设计与实现第五章 UML与数据库应用系统第六章 高级数据查询第七章 数据库及数据库对象第八章 数据库后台编程技术第九章 安全管理第十章 数据库运行维护与优化第十一章 故障管理第十二章 备份与恢复数据库第十三章 大规模数据库架构第十四章 数据仓库与数据挖掘来，上图，本人笔记！！！！网盘连接：链接: https://pan.baidu.com/s/1
2021-10-28 09:06:03
290
9
原创 Invalid operation: Load into table ‘sources_orderdata‘ failed. Check ‘stl_load_errors‘ system table
aws
2022-07-01 16:59:06
431
原创 You don‘t have permission to access /ganglia on this server
## Ganglia monitoring system php web frontend#Alias /ganglia /usr/share/ganglia<Location /ganglia> Order deny,allow Require ip 193.168.115.1 Deny from all Allow from all # Order deny,allow # Deny from all # Allow from 127.0.0.1 # A.
2022-05-18 14:53:10
212
原创 kafka调优
文章目录1.硬件选择2.生产者调优2.broker调优3.消费者调优总结1.硬件选择服务器个数 内存、磁盘的大小服务器台数= 2 * （生产者峰值生产速率 * 副本 / 100） + 1括号内向上进位 所以为1假如峰值是20m/s 副本为2 那么应该是3台2.生产者调优buffer.memory 默认是32兆 可增大batch.size 默认是16K 可增大linger.ms 默认是0S 表示直接发送 可设置为1-5msacks 默认是-1 假如只是日志数据 可设置为1retrie
2022-05-15 08:30:13
1152
原创 hive高级篇-企业级调优
hive高级篇-企业级调优文章目录hive高级篇-企业级调优前言一、设置分区二、hql语句调优2.1 避免全表扫描2.2 GroupBy2.3 Vectorization2.4 多重模式2.5 in/exist2.6 CBO2.7 Mapjoin2.8 SMB Join2.9开启严格模式3.数据倾斜3.1 key3.2 mapjoin4.job优化4.1 map4.2 reduce4.3不走mr4.4jvm复用前言大家基础的hive已经学完，发现hive启用的mr框架，如果没有设置好执行计划或者对m
2022-05-10 19:39:24
441
原创 ideal中eclipse查看类的快捷键
alt+7 查看类结构ctrl+h 查看继承关系ctrl+alt+u 查看继承关系树shift+shift 搜索类
2022-05-07 09:49:49
337
原创 java读取hdfs文件
FileInputFormat.setInputPaths(job, new Path("hdfs://single:9000/test/student_ext/student.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://single:9000/test/student_ext/test"));
2022-05-07 08:44:45
1778
原创 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；
今天本地跑mr，遇到这个错，网上都是说依赖版本问题，但是我以前能跑啊，找了一堆帖子，终于发现是因为我的输入路径不是文件，而是文件夹正确格式要加*
2022-05-06 22:25:35
940
6
原创 scala recursive value x$5 needs type
问题：引入了不确定的变量问题截图这里的sparkConf 没有具体的类型解决：给他一个类型
2022-04-29 07:43:14
499
原创 取消notepad++打开.bat文件
今天博主运行一个bat文件时发现双击，默认notepad++打开了，而并不是执行文件。解决方法：1 管理员身份打开notepad++2 首选项 文件关联3 找到bat 拉出来
2022-04-24 18:45:17
1129
原创 Exception in thread “main“ java.sql.SQLException: Connections could not be acquired from the underly
之前搜索都是配置项问题：1.端口号 ip地址2.账号 密码 <named-config name="greemysql"> <property name="driverClass">com.mysql.jdbc.Driver</property> <property name="jdbcUrl">jdbc:mysql://192.168.115.23:3306/school?useSSL=false</prop
2022-04-23 23:24:26
1134
原创 MobaXterm上方工具栏显示
博主不知道点了啥，导致我的moba成了这个样子。上方空空如也，之前的工具栏没有了。百度发现也没有教程。步骤1.在这个位置右击，点击compact mode2.这就出来了.3.你还可以在这个位置继续右击，选择显示按钮栏 菜单栏 或者两个都显示。...
2022-04-06 10:05:46
4337
原创 mongodb安装使用
1.下载网址ww.mongodb.com/download-center/community2.安装步骤下载 .msi 文件，下载后双击该文件，按操作提示安装即可。安装过程中，你可以通过点击 “Custom(自定义)” 按钮来设置你的安装目录。一直next,然后finish,取消勾选是因为我不需要图形化页面，大家随意。3.简单使用1.配置环境变量2.连接MongoDB打开cmd，输入mongod出现以上信息，连接成功。继续输入：mongo.exe进入命令行，输入相关语句，执行
2022-04-01 09:49:04
833
3
原创 windows的jupyter notebook文件设置
博主之前用的是虚拟机的jupyter notebook,每次用还要去开虚拟机，所以我就是想用windows的jupyter notebook，结果下载好了进去。这怎么一堆文件，看的人眼花缭乱，我直接二话不说全部删除，结果全部都是删除失败，幸亏删除失败，不然我电脑就瘫痪了，因为这里都是指向我本机的文件，那如何进入一个干净的界面呢？1打开文件所在位置2右击，点击属性。进行这两个地方位置的修改，改成自己新建的路径，默认是全局路径，所以一进去全是文件...
2022-03-27 21:36:31
1994
原创 笔记本自带键盘的关闭和开启
1.以管理员身打开Cmd2.输入对应的代码sc config i8042prt start= disabled 禁用键盘sc config i8042prt start= auto 开启键盘3.电脑重启生效
2022-03-25 08:38:51
3379
原创 import spark.implicits._爆红
问题截图问题解决：这里的spark我以为是包名，但其实是变量名， val session: SparkSession = SparkSession.builder().master("local").appName("test").getOrCreate()这里我的变量名称是session,所以应该用session的变量名不再爆红，问题解决...
2022-03-17 09:12:46
4027
原创 Caused by: java.io.IOException: Path: //single is a directory
报错信息：Caused by: java.io.IOException: Path: //single is a directory, which is not supported by the record reader when `mapreduce.input.fileinputformat.input.dir.recursive` is false.问题解决spark读入的路径和最终输出落盘的路径不能一致，否则会触发io异常...
2022-03-16 12:00:47
3490
原创 HDFS递归建立删除查看文件命令
博主现在用习惯了网页版的删除创建，导致忘了代码，今天记录一下，希望帮到你们递归删除目录或者文件hadoop fs -rm -r -skipTrash /文件递归创建文件hadoop fs -mkdir -p /文件
2022-03-16 10:39:09
609
原创 Exception in thread “main“ java.lang.NoClassDefFoundError: exam/test4$good (wrong name: exam/test4$G
问题：问题原因：今天博主运行一个Scala中的项目时遇到坑了，逻辑都很对啊，后来不断尝试更改代码，最终发现样例搞得鬼，我写了两个样例类，Good和good，可能是样例类不区分大小写的原因，我把good改成Good2就行了。...
2022-03-15 18:21:54
620
原创 Java常用接口式函数（1.8）
package func;import com.sun.xml.internal.ws.policy.EffectiveAlternativeSelector;import java.util.function.*;class DemoSupplier{ //Supplier生产者接口 提供数据 public static String method01(Supplier<String> str){ return str.get(); }
2022-03-14 11:35:35
477
原创 Scala隐士函数的代码解析
隐士转换的基本概念：当编译器第一次编译失败的时候，会在当前环境中找到使代码编译成功的方法，进行二次编译隐士转换的机制：首先会在当前代码作用域下查找隐式实体（隐式方法、隐式类、隐式对象）。如果失败，继续在隐式参数的类型的作用域里查找。类型的作用域是指与该类型相关联的全部伴生对象以及该类型所在包的包对象。代码package implict/* 隐士转换的基本概念：当编译器第一次编译失败的时候，会在当前环境中找到使代码编译成功的方法，进行二次编译 隐士转换的机制：首先会在当前代码作用域下查找隐式
2022-03-14 09:06:17
178
原创 虚拟机初始配置以及简单优化
hostnamectl set-hostname master01 //修改主机名hostname //查看#1.网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens33#修改BOOTTPROTO = dhcp => static ONBOOT =no => yes#增加IPADDR=192.168.115.128 //自己的Ip地址NETMASK=255.255.255.0GATEWAY=192.168.115.2DNS1
2022-03-03 20:13:57
226
1
原创 为什么spark中叫算子不叫方法以及算子之间的区别
今天博主在学习spark中一直在用算子，突然很困惑为什么要叫算子而不是方法呢？答：算子：（Operation)是为了区分和scala集合对象的方法，集合对象的方法都是在同一个节点中完成的，RDD的方法也就是算子都是在Executor中执行，为了区分两者，所以称之为算子。foreachcollect.foreachExecute端执行操做在driver端执执行操作每个Execute进行输出，所以乱序Execute端反馈给driver，driver端进行整合输出，所以是有序
2022-03-03 14:21:43
1917
原创 ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ (
博主好久没用了mysql了，今天按照以前的办法进行mysql的安装，准备使用的时候报这个错。搞了半天，原来是没有systemctl start mysqld，真是个乌龙事件
2022-02-28 08:27:41
481
原创 JavaAPI实现对zookeeper集群的监听注册
import org.apache.zookeeper.*;import org.apache.zookeeper.data.Stat;import org.junit.Before;import org.junit.Test;import java.io.IOException;import java.util.List;public class zkClient { // 注意：逗号左右不能有空格 private String connectString = "ha.
2022-02-27 08:45:49
215
原创 hadoop启动集群时datanode无法启动
原因：格式化namenode，生成了一个新的ID,但是datanode保存的是旧的方法：到logs中找到datanode log文件，查找复制这个namenode clusterID，找到data目录，/var/data/hadoop/dfs/data/current，把clusterID进行替换，保存，重新启动服务。...
2022-02-25 12:13:32
948
原创 Linux目录通俗解析
#根目录 /#bin存放命令 比如cd mkdir#sbin这里的命令只有系统管理员可以使用比如init(启动设置级别) ifconfig(查看网卡信息)#dev存放设备文件cdrom（光驱） sda1(硬盘)#tmp临时文件 就像是windows的垃圾回收站#home存放普通用户 比如useradd增加的用户会在这个目录下#boot引导程序，内核等存放的目录。这个目录，包括了在引导过程中所必需的文件，引导程序的相关文件（例如grub，lilo以及相应的配置文件以及Linux操作
2022-02-24 17:28:40
504
原创 Map三大实现类详细解析（附代码）
博主之前学习了map的接口以及底层实现原理，但是后面又忘记，用的时候比较困惑，所以回来重新整理，涵盖了Map基础，未整理hashmap线程不安全，分段锁这一块。1.常用的实现类结构Map:双列数据 存储使用key—value对的数据 类似y = f(x) ----hashMap:主要实现类 线程不安全 效率高 可以存储null的key和value ----LinkHashMap:可以按照添加顺序实现遍历 原因：在底层结构基础上，添加了一对指针，指向前一个后一个元素，如果
2022-02-23 15:00:03
669
原创 Scala连接mysql导出数据
package cn.kgc.cha01.mysqlimport scala.reflect.ClassTag//使用object Test { def main(args: Array[String]): Unit = { val dao = Dao() case class Stu(name:String,sex:String,age:Int,grade:String,number:Int){ override def toString: String = s"$
2022-02-21 22:40:50
278
原创 Scala的三种守卫模式
package cn.kgc.cha01.praticeobject Pratice03 { def main(args: Array[String]): Unit = { //值守卫 val r1 = "(.*?),(.*?)".r //.r表示支持正则 val r2 = "(.*?),(.*?),(.*?)".r val str = "tom,is,handsome" val array:Array[String] = str match {
2022-02-19 22:00:50
491
原创 Scala解析json对象包含二维数组
package cn.kgc.cha01.praticeimport net.minidev.json.{JSONArray, JSONObject}import net.minidev.json.parser.JSONParserobject Pratice02 { def main(args: Array[String]): Unit = { //双引号需要转意 val str = "{\"name\":\"tom\",\"age\":25,\"phone\":\"183
2022-02-19 21:39:24
748
原创 win10大小写切换有延时
这个是电脑驱动的问题，今天博主在修改程序，突然出现大小写切换延时，网上方法也都没用。还要靠自己。打开设置打开轻松使用选择键盘把这两个取消勾选。
2022-01-10 09:18:22
6976
5
原创 Java正则表达式代码解析基础
正则验证@Test public void verify(){ String str = "abc_123"; //数字字母下划线至少出现一次 boolean rst = str.matches("\\w+"); System.out.println(rst); }结果：正则分割 @Test public void spllit(){ String str = "adf.dasf-sdf
2021-12-19 15:01:53
214
原创 Executor四种线程池比较
1.固定线程池简析：设置五个线程进行10个任务的调配，五个线程重复五次执行。 ExecutorService poolfixed = Executors.newFixedThreadPool(5); for (int i = 0; i < 10; i++) { poolfixed.submit(()->{ for (int j = 0; j < 5; j++) {
2021-12-15 21:45:09
907
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人