chengniezhou7539-CSDN博客

转载 AWS的Https请求和负载均衡器，以及本地web开发环境搭建

需要在AWS上发送Https请求，从AWS官网看了看资料，发现必须还要搭建AWS的负载均衡器。不太明白原因。然后查了查Https的资料，发现有介绍通过搭建Negix结合Https使用的。先放官网文档：与 AWS Certificate Manager 集成的服务 https://docs...

2019-09-04 18:34:00 783

转载 Spark在AWS集群上的优化

业务场景：从S3中读取大量小的Avro文件，进行简单处理，转换成parquet文件。问题点：从S3读取文件，其实是一个文件一个请求发送到S3。并行度低。(当然S3也有并行设置，但是Spark集群每次处理的文件数量是CPU数)。优化：建立Spark集群时，买较多的CPU数，和较少的内存数。...

2019-09-02 17:40:00 375

转载 Azure和AWS的spark默认模式

Azure平台的spark默认是cluster模式。 AWS平台的spark默认是client模式。如果要改为cluster模式。方法1：建立集群的时候就修改为cluster。方法2：加入参数"spark.submit.deployMode" : "cluster" 此外，SparkSQ...

2019-08-29 11:32:00 221

转载多线程清空下，尽量不要用静态变量和属性。

多线程场景下，静态变量极有可能变成共享的变量。从数据库的多个表中读取数据，定义了一个静态的id变量，结果共享了。不同表跳跃读取数据了。转载于:https://my.oschina.ne...

2019-07-23 09:44:00 239

转载 mysql数据库的copy

select insert 组合语句使用SELECT INTO 和 INSERT INTO SELECT 表复制语句了。　　1.INSERT INTO SELECT语句　　语句形式为：Insert into Table2(field1,field2,...) select value1,...

2019-06-20 15:15:00 553

转载 Linux下的查看内存

1、top 可以查看很多内容2、grep MemTotal /proc/meminfo # 查看内存总量grep MemFree /proc/meminfo # 查看空闲内存量https://blog.csdn.net/zhangliao613/article/details/7902...

2019-06-20 15:14:00 90

转载 mysql的一些操作

1、show processlist;显示哪些线程正在运行https://www.cnblogs.com/wayne173/p/8079503.html（转载链接）2、show variables like '%max_connections%';查看最大连接数3、show globa...

2019-06-19 11:02:00 76

转载数据太大，一个map装不下

java.lang.OutOfMemoryError。这是一个继承VirtualMachineError类的Error。而VirtualMachineError又继承了Error。Error又继承Throwable。归根结底，OutOfMemoryError是一个Error，并且Error中注...

2019-06-19 10:51:00 359

转载联合索引

MySQL的复合索引遵循了最左前缀原则，当建立索引（index_A,index_B,index_C）时：使用索引有效的字段为：'index_A’，'index_A,index_C’，'index_A,index_B’，'index_A,index_B,index_C’；使用索引失效的字段为...

2019-05-28 16:00:00 65

转载大数据量插入Mysql的爬坑经历

性能测试阶段，预先插入一批数据到Mysql中。并分为三个阶段。第一阶段：向Mysql的三张表里，插入有关联关系的18万+18 * 3万+18 * 4万的数据。第二阶段：插入第一阶段数据量5倍的数据,即90万为基数第三阶段;插入第一阶段数据量10倍的数据即180万为基数方法1：本地JDB...

2019-05-22 17:27:00 623

转载大数据核心知识

#Spark和Hadoop的区别#Spark任务提交过程。Hadoop任务提交过程。#Zookeeper是什么。以及在hadoop中的作用。Kafka和HBase中的作用#JS的作用：精简代码#关系型和非关系型数据库的区别#Hive存储的是什么。#数据倾斜#Spark处理过程?s...

2019-05-21 15:21:00 106

转载技术栈一览

#数据结构和算法HashMap#SpringMVC:各种注解#SpringBoot:各种注解#SpringCloud:各种组件此图转载，图片来源@王璐-LouiseNetflix是一个大的模块，包含几个核心项目服务发现(Eureka)客服端负载均衡断路器(Hystrix)...

2019-05-20 14:43:00 396

转载 Spark的性能优化之路

spark的parallelize()方法，可以指定分区数量。在coding阶段，对此没有引起重视，只是随意填了一个很大的数，认为分区当然是越多越好。但是到了性能测试阶段，发现并不是。1.分区数太多意味着任务数太多，每次调度任务也是很耗时的，所以分区数太多会导致总体耗时增多。2.分区数太少...

2019-05-19 19:56:00 86

转载 JAVA的动态代理和CGLIB代理

2019-05-15 16:33:38.981 ERROR 7724 --- [ restartedMain] o.s.b.d.LoggingFailureAnalysisReporter :APPLICATION FAILED TO STARTDescription:The ...

2019-05-15 16:47:00 105

转载明明是Math.ceil(),却变小了。

两个整数相除，先保留小数。直接/，会丢失精度。Math.ceil((float)a / b); 转载于:https://my.oschina.net/u/3957231/blog/304...

2019-04-22 11:54:00 144

转载工作踩坑日志：迷茫的gradle找代理

开发踩坑日志：到了和协作公司联调测试的阶段了。带着电脑去了兄弟公司。连上别人公司的WiFi后，用eclipse无法导入自己的gradle项目。一直报错，gradle无法下载需要的jar包。甚至还有org.springboot-gradle-plugins无法下载的log。用了一天的时间排查。...

2019-04-20 13:45:00 88

chengniezhou7539的博客