- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 idea使用spark连接hive及增加snappy压缩处理
1，将服务器hive conf/hive-site.xml放到代码resources中2，添加pom依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>${spark.version}</version>
2022-01-11 16:34:30
1758
2
原创 Spark知识汇总
flatMap和Map区别map,(1对1) ，将一个结果转化为另一个结果ArrayBuffer(0)ArrayBuffer(0, 1)ArrayBuffer(0, 1, 2, 3)ArrayBuffer(0, 1, 2, 3, 4)ArrayBuffer(0, 1, 2)flatMap （1对多），将一个结果转化为多个结果 。会将聚合数组切分0 0 1 0, 1, 2, 3，0, 1, 2, 3, 4 0, 1, 2===============================
2021-02-05 13:32:21
190
原创 Java—JUC工具ThreadLocal详解
因为是引用，所以ThreadLocal会有两种状况。1，基本类型，2 引用类型基本类型static ThreadLocal<Integer> threadLocal =new ThreadLocal<Integer> (){ @Override protected IntegerinitialValue() { return 0; } }; //此时 ge...
2020-12-26 16:52:03
438
1
原创 Java多线程，并发核心知识体系总结
线程终止——interruptpublic class TestMyInterrupt implements Runnable { public static void main(String[] args) throws InterruptedException { Thread thread = new Thread(new TestMyInterrupt()); thread.start(); Thread.sleep(1000);
2020-12-21 21:04:26
262
原创 Spark中 Rdd、DataFram、DataSet图解，区别，及转换
图解转换过程DataFrame、Dataset转RDD：val rdd1=testDF.rddval rdd2=testDS.rddRDD转DataFrame：
2020-04-11 23:17:54
201
原创 Centos6.5搭建Haoop集群，及日常错误
搭建完整机器只要需要三台机器Hadoop三大构建 Hdfs Mapreduce Yarn-------------------------------------------这三台机器构造hadoop102 hadoop102 hadoop103Jps Jps Jp...
2020-03-11 23:05:15
145
原创 PHP常用设计模式——行为型
空对象<?php //空对象 //不会出现null现象，而且调用任何方法都不会错误 class NullObject{...
2019-12-18 23:32:05
177
原创 PHP常用设计模式——结构型
装饰模式<?php class Student { //再Student类中，不改变基情况下增加功能 private $decorations=array(); public function addDecoration($decoration){ $this->decorations[]=$decoration; } pub...
2019-12-18 23:26:51
138
原创 PHP常用设计模式及面向对象设计(笔记和学习)
建造者模式<?php //一个导演类，传入一个 不同Builder类(具体怎么制造由此决定)，来创建一辆车 // 定义Build接口 //不同车辆Build类,根据不同来建造 //和工厂差不多，要稍复杂一点 ...
2019-12-02 17:52:04
230
原创 Linux网络及相关工具命令和IP地址 (学习笔记)
创建临时ip sudo ifconfig eth0:0 192.168.10.10 up //启动 sudo ifconfig eth0:0 down //删除一个网卡添加多个ip sudo ip address add 192.168.1.254/24 dev eth0 //在eth0网卡添...
2019-11-12 13:36:16
356
原创 error while loading shared libraries: libaio.so.1: cannot open shared object file:Permission denied
Docker下，使用 docker run --privileged 镜像名字出现错误：/usr/sbin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: Permission denied导致，容器里面的mysql 始终无法启动，经过测试，...
2019-09-29 23:07:58
2984
原创 PHP将上传word文件，转化为Html格式，(多种转换方式)
方法一: 通过PHPOffice（推荐）1: composer require phpoffice/phpword /* 通过composer安装 PHPOffice 需要科学上网 ...
2019-09-22 14:11:45
4538
3
原创 ThinkPHP常用配置文件及基本代码，（学习笔记）
调用Python脚本 方法一: $info=exec("python位置 脚本位置 脚本多个参数 ") 二: exec("python位置" 脚本位置 脚本多个参数 Linux 例： exec("/usr/bin/python $docker_path $container_id 2>&1",$result,$info);...
2019-08-15 21:35:54
543
原创 PHP调用python脚本操作docker出现权限问题,(Connetciton aborted ,error 13,"Permission denied')
错误原因: php操作 docker 没有权限纠错 ：将当前的操作apache的用户添加到 docker用户组1: 查看当前apche的用户，默认为 www-datasudo lsof -i:80 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEapache2 1913 root ...
2019-08-10 12:03:44
859
原创 win10宿主机下ping不通Docker容器, 同时Docker创建静态IP
解决方法:添加Docker所在网关IP到宿主机路由上 // CMD 管理员模式route add 172.19.0.0/16 mask 255.255.255.0 10.0.75.2 -p //永久路由,否则重启则没有win: 查看路由 route printDocker网关:Docker创建静态IP // Docker分配静态ip必须 要自己自定义网络，...
2019-07-26 22:11:43
10045
7
原创 Spring基本体系，IoC容器,Bean,面向切面编程(AOP),AspectJ开发（学习笔记）
Spring基本体系SpringIoC容器IoC(控制反转): 也就将所有Bean放在Sping中,统一管理创建ApplicationContext context=ClassPathXmlApplicationContext("") // 相对路径从src<bean id="" class=" />DI(依赖注入): 为对象加入相应属性 ...
2019-07-17 17:49:57
271
原创 SSH中Hibernate对象状态，一级缓存，关联关系映射(学习笔记)
Hibernate对象状态Hibernate三种状态:1: 瞬时态 : 没有id即没保存,也脱离了sesion 2: 持久态 : 已经保存到数据库(有着完整的属性)3：托管态 : 一个完整的对象，但是脱离了sesion 例:public void test(){ //三种状态相对于book实例而言 Session session=Hiber...
2019-07-13 14:53:43
146
原创 Struts2框架入门及其核心配置(学习笔记)
Struts2框架，执行流程1:request访问2:核心过滤器拦截3:Interceptor拦截器拦截4:调用指定Action5:响应数据Struts2配置文件在web.xml文件中加入struts2的核心过滤器 <filter> <filter-name>struts2</filter-name> ...
2019-07-10 23:24:28
189
原创 Docker安装Hadoop分布式集群,及其知识点总结，(记录心酸)
参考林子雨:林子雨docker安装hadoop 普通安装hadoopDocker安装Hadoop（注意事项）1:自带docker2:镜像带ubuntu3:配置SSH: apt-get install ssh /etc/init.d/ssh start //启动ssh vi...
2019-06-22 23:17:12
817
原创 Docker储存，容器数据共享(Docker学习笔记二)
容器储存 Docker 储存资源两种方式 1--storage diver: 管理镜像层和容器层，数据存放在最上面的容器层 2--Data volume (数据容量,Host中的目录) ：1:bind mount 2:docker manage volume bind mount (将本地目录mount到容器) 例: docker run -d -p 80:80...
2019-06-14 15:09:23
727
原创 Docker中CMD,ENTRYPOINT命令区别，shell和Exec格式 (Docker学习笔记一)
CMD,ENTRYPOINT命令区别CMD: 启动容器后,提供默认命令及参数 (不一定会执行，只是默认) 会docker run 后面参数替换ENTRYPOINT: 启动容器时执行(一定会执行) /* 例如: Dockerfile 中： FROM centos //必须现有base镜像，否则Error:No build stage in current...
2019-06-12 14:39:04
4901
原创 JavaWeb中,反射和内省 (学习笔记)
放射反射: 将类映射成Class类, 再将其构造方法，访问属性，方法单独get出来, 单独调用即可(根据需要添加参数)内省内省:用于操作JavaBean属性(写值,读值) 先获取该属性描述器 用该描述器，获得write或read Mthod method.invoke()调用即可...
2019-06-03 23:42:11
131
原创 Tomcat,虚拟目录加载不了文件图片,配置默认应用和页面,及URI图片编码(Tomocat)
Tomcat配置虚拟路径,方法一:tomocat /conf/server.xml 中在<Host>节点 添加 <context>例如: <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> <Context path="/im...
2019-06-02 22:53:50
587
原创 MySql,视图,视图算法,order group, Procedure 等 (学习笔记)
Order by和Group byOrder by : 对查询结果集asc(升序) desc(降序) 默认:升序Group by : 细化聚集函数的作用队形;比如 money=5 ;group by money :所有money=5,会放在一起 count sum avg max min:如不加group by 那么作用对象是所有值Warning: ...
2019-06-02 22:43:19
866
原创 Java中 extends 和implement,构造方法和初始化方法
Extends继承相关public class Animal { public static void main(String[] args) { Dog dog=new Dog("Tom"); //DOg已经有了有参构造方法，在用无参，则会出错 dog.shout(); } public Animal() { System.out.pr...
2019-05-29 09:52:55
688
原创 JavaWeb中Servlet容器,JSP和EL隐含对象,EL表达式和JSP脚本,标签,等相关笔记
Servlet容器Servlet :容器,用于响应request，response;Servlet类由Web容器调用生命周期: 1:request 发送, 2:servlet容器解析， 3:创建实例对象 4:init()初始化，只会调用一次 5:调用service(),会一直使用, 6:respon 响...
2019-05-28 21:46:59
160
原创 JavaWeb中Cookie和Session,（总和其免登陆） 相关笔记
Cookie相关Cookie cookie=new Cookie("name","value"); response.addCookie(cookie); //添加cookie cookie.setMaxAge() //默认为-1; -1 浏览器关闭cookie，0:立即删除 >0 以秒为单位 cookie.setPath("/chapter...
2019-05-15 22:50:12
290
原创 PHP 相关类常量和Static变量，传值赋值和引用赋值，private和static ,对象操作符,define常量（基础笔记一）
识别 private 和 private static class Person{ private static $name; //private 只能在当前类中使用，static，可以不创建类直接用， //privaet static 定义，在 static 方法体中使用，同时外界无...
2019-04-28 13:53:30
1497
原创 MySQL命令行，查询插入中文乱码解决方法
遇到中文乱码问题:注意：在设置之前，请确定自己的数据库和表都是utf-8编码第一步:打开配置文件，第二步:修改一下两处字符编码，都改为utf8，重启MySQL服务第三步，查询MySQL字符编码，修改一下两处编码， 注意:每次打开命令行，添加修改都要修改这两处编码第四部：测试，成功...
2019-04-09 16:08:01
706
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人