彻底解决CRT中文显示乱码问题 找到配置文件C:\Users\username\AppData\Roaming\VanDyke\Config\Sessions\Default.ini修改output transformer name = UTF–8Filenames Always Use UTF8 = 00000001
cdh6.3.2集成flink1.12.0 网上查资料发现使用flink-shaded-12.0-src.tgz编译后确实没有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.2-10.0这个文件，但是flink-shaded-10.0也适配flink1.12环境，于是改用官网提供的flink-shaded-10.0-src.tgz进行编译。文件夹下的flink-1.12.0-bin-scala_2.12.tar、FLINK_ON_YARN-1.12.0.jar就是目标包。添加服务–>选中flink-yarn。.....
cdh6.3.2集成zeppelin0.10.1及简单使用 3.在Zeppelin配置文件目录中，创建名为zeppelin-env.sh的环境文件，在其中配置Hadoop配置目录、hive的配置文件的classpath目录、Zeppelin服务器的IP地址和端口号。1.下载二进制包 https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz至目录/opt。输入设置好的用户名/密码 zeppelin/zeppelin。2.解压到/opt/zeppelin目录下。.....
cdh3.6.2集成kylin3.0.2及简单使用 1.下载kylin https://archive.apache.org/dist/kylin/apache-kylin-3.0.2/ 到/software目录。http://192.168.1.162:7070/kylin 用户名/密码 ADMIN/KYLIN。7.下载mysql的驱动包，并放到/opt/kylin/ext/目录。在弹出的页面选中default下的5张表，点击sync按钮。b.add demensions，按需要选择列，下一步。c.选择需要的列，下一步。.........
java、redis、mysql归纳总结 1 HashMap底层源码，数据结构hashMap的底层结构在jdk1.7中由数组+链表实现，在jdk1.8中由数组+链表+红黑树实现，以数组+链表的结构为例。JDK1.8之前Put方法：JDK1.8之后Put方法：附：一、HashMap底层实现原理解析我们常见的有数据结构有三种结构：数组结构链表结构哈希表结构下面我们来看看各自的数据结构的特点：1）数组结构： 存储区间连续、内存占用严重、空间复杂度大优点：随机读取和修改效率高，原因是数组是连续的（随机访问性强，查找速度快）缺点：插
Spring Boot归纳总结 1 什么是springboot ？用来简化spring应用的初始搭建以及开发过程 使用特定的方式来进行配置（properties或yml文件）创建独立的spring引用程序 main方法运行嵌入的Tomcat 无需部署war文件简化maven配置自动配置spring添加对应功能starter自动化配置答：spring boot来简化spring应用开发，约定大于配置，去繁从简，just run就能创建一个独立的，产品级别的应用2 Springboot 有哪些优点？-快速创建独立运行的spri
Spring归纳总结 1、Spring是什么?Spring是一个轻量级的IoC和AOP容器框架。是为Java应用程序提供基础性服务的一套框架，目的是用于简化企业应用程序的开发，它使得开发者只需要关心业务需求。主要包括以下七个模块：Spring Context：提供框架式的Bean访问方式，以及企业级功能（JNDI、定时任务等）；Spring Core：核心类库，所有功能都依赖于该类库，提供IOC和DI服务；Spring AOP：AOP服务；Spring Web：提供了基本的面向Web的综合特性，提供对常见框架如Stru
flink归纳总结 1.14 Flink1 简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。DataStream API，对数据流进行流处理操作，将流式
spark归纳总结 transformation：1、sortBy ： 对于RDD的是非元组型，rdd1.soreBy(x=>x),元组型按value排序rdd.soreBy(_._2)（进行shuffle）2、sortByKey ： 对于RDD内存的是元组类型的使用（进行shuffle） ，sortBy和sortByKey都是transformation算子，但都会触发job任务，底层new了一个rangePartition对象，底层会调用一个foreach方法，进行排序，所以会触发job3、reduceB
kafka归纳总结 1. Kafka架构生产者、Broker、消费者、ZK；注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。2. Kafka的机器数量Kafka机器数量 = 2 （峰值生产速度 * 副本数 / 100）+ 13. 副本数设定一般我们设置成2个或3个，很多企业设置为2个。副本的优势：提高可靠性；副本劣势：增加了网络IO传输4. Kafka压测Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-pro
Hadoop、Hdfs归纳总结 1. Hadoop常用端口号hadoop2.x Hadoop3.x访问HDFS端口 50070 9870访问MR执行情况端口 8088 8088历史服务器 19888 19888客户端访问集群端口 9000 80202. Hadoop配置文件以及简单的Hadoop集群搭建（1）配置文件：Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slavesHadoop3.x core-site.xml、hdfs-
java poi读取word内容 1.读取word所有内容（非表格）public static String readDoc(String path) { String resullt = ""; //首先判断文件中的是doc/docx try { if (path.endsWith(".doc")) { InputStream is = new FileInputStream(new File(path)); WordExtractor extractor
map常用5种遍历方法 map常用5种遍历方法public static void learnMap() { Map<String, String> map = new HashMap<String, String>(); for (int i = 1; i <= 10; i++) { map.put("key" + i, "value" + i); } // 效率最高，推荐使用 System.
java poi读取excel报错Your InputStream was neither an OLE2 stream, nor an OOXML stream 错误描述java poi读取excel报错Your InputStream was neither an OLE2 stream, nor an OOXML stream楼主是上传的另存为的excel定位报错代码String basePath = "E:\\test\\数据data.xls";InputStream inp = new FileInputStream(basePath);Workbook wb = WorkbookFactory.create(is);源码定位分析publ
关注
