- 博客(669)
- 资源 (2)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 MySQL常用设置
数据最大连接数查看：最大连接数show variables like'%max_connections%';1.修改/etc/my.cnf[mysqld]部分添加“max_connections=XXX，重启mysql服务。2.客户端修改全局变量mysql> set global_max_connections = 200;mysql> show processlist;mysql> show status;3.修改mysqld_safethen $NOHUP_N
2021-03-12 11:29:33
116
原创 技术管理
管理人发现每个成员的优点和缺点，扬长避短。人才的培养就是这样慢慢磨出来的。志同道合，非常重要。资源钱的利用，要能激发团队整体效益的最大化。要平衡号下级，同级，上级间的资源平衡。下属是你的最重要资源，没有之一。能不能扬长避短，让1+1的结果更大，是你需要不断思考的问题。具体的事管事就是不断降低团队协作成本，将协作成本不断逼近到1.技术选型，与下属多沟通。参考管好3件事儿，给一线技术管理者的建议经典话语管理者以成就他人作为自己的工作目标。你成就了你的下属，你的成就自然也不会差。
2021-03-11 16:04:33
142
原创 SAP简介
SAPSAP SE（Systems, Applications & Products in Data Processing）是德国的一家软件公司。官网地址。成立于1972年，总部位于德国沃尔多夫市，是全球最大的企业管理和协同化商务解决方案供应商，世界第三大的独立软件供应商，全球第二大云公司。SAP更多的是指SAP公司的产品——SAP系统（System Applications and Products）企业管理解决方案的软件名称。...
2021-01-26 17:39:03
348
原创 Nginx问题记录
NginxHttp 504nginx 出现504 Gateway Time-out。一般是由于程序执行时间过长导致响应超时，例如程序需要执行90秒，而nginx最大响应等待时间为30秒，这样就会出现超时。通常有以下几种情况导致1.程序在处理大量数据，导致等待超时。2.程序中调用外部请求，而外部请求响应超时。3.连接数据库失败而没有停止，死循环重新连。出现这种情况，我们可以先优化程序，缩短执行时间。另一方面，可以调大nginx超时限制的参数，使程序可以正常执行。...
2021-01-26 15:09:42
200
原创 Pentaho Data Integration(or Kettle)
Pentaho Data Integration(or Kettle)解决了什么问题？方便，搞笑的解决数据清洗（ETL）工作。干什么的？Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。简介Data Integration官网Data Integration官网下载地址pentaho-kettle GitHubKettle变革历程。Kettle>Pentaho Data Integeration
2021-01-20 09:48:37
745
原创 数据清洗
数据清洗常用清洗工具Excelpower query。SQLPythondatastage最专业的ETL工具，价格不菲。informatica专业程度如Datastage旗鼓相当，价格似乎比Datastage便宜。kettle业界最有名的开源ETL工具。开源当然就免费，免费的有些东西使用就不是很方便。ODIoracle数据库厂商提供的工具，有局限性，与oracle数据库耦合太深。Cognosbeeload最好的国产ETL工具，但产品化程度还有一定距离。Google Refi
2021-01-19 15:05:31
241
原创 5G
5G特性三大场景1）eMBB：( Enhanced Mobile Broadband)，增强移动宽带。以人为中心的应用场景，集中表现为超高的传输数据速率，广覆盖下的移动性保证，最直观的体验就是极致的网速。因此，增强移动带宽（eMBB）将是5G发展初期面向个人消费市场的核心应用场景。美国时间2016年11月17日凌晨0点45分，在3GPP RAN1 87次会议的5G短码方案讨论中，历经千辛万苦，中国华为公司的Polar Code（极化码）方案，最终战胜列强，成为5G控制信道eMBB场景编码最终方案。2
2021-01-19 14:24:02
143
原创 juju
jujuJuju让开发人员能够详细说明其应用程序在部署和扩展时所需的条件，简化并增强开发人员和运维团队之间的交流沟通。Juju堪称是“DevOps工作 经验的结晶”，它使得开发和部署过程中团队间的对话和工作流程变得极为清晰明了。Juju不仅让跨多个云提供商的服务部署变得简单易行，还能简化在多个运行着如 Hadoop 等云任务的物理服务器集群上的部署工作。Juju 是 Canonical 的服务建模和部署工具。 它支持非常广泛的云服务提供商，使您能够轻松地在任何云上部署任何您想要的服务。此外，Juju
2021-01-12 15:59:29
455
原创 CentOS下载及安装
简介CentOS，是基于 Red Hat Linux 提供的可自由使用源代码的企业级 Linux 发行版本；是一个稳定，可预测，可管理和可复制的免费企业级计算平台。下载centos 官网下载步骤1.选择版本及CPU架构2.选择isos；3.4.选择合适镜像；“The following mirrors in your region should have the ISO images available”，您所在地区的下列镜像应具有可用的ISO映像。“Other mirrors f
2021-01-08 16:02:54
3321
2
转载 技术人如何加速成长？提升你的思维和学习方式
阿里妹导读：每个人都会经历一个新人的阶段，不管是初入职场，还是到一个新的工作环境。作为技术新人，我们常常会面临哪些困惑？普通人和非凡人的差异在哪里？除了体力上的勤奋，还有哪些方法可以加速成长？本文从第一性原理、结构化思维和多维度思考等方面分享如何从思维深度上提升自己，分享关于技术人成长之道的心得体会。一 摘要阿里优秀的人很多，他们身上共同的特质是什么？让我最佩服的是思考力强的人，对事情有深入洞见和观点的人。大多数人还停留在表面看问题，很多看法禁锢在思想里逃不出来。古人说，立德立言立功为三不朽，立言就是
2021-01-08 10:24:17
217
原创 Log4j2 框架详解
简介log4j2 Github 官网配置参考资料SpringBoot整合log4j2进行日志配置及防坑指南Spring Boot Log4j2.yml 配置Spring Boot采用yml的方式配置 Log4j2 日志文件
2020-12-30 15:13:56
144
原创 Hive UDF开发
关于UDAF开发注意点：1.需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的2.函数类需要继承UDAF类，内部类Evaluator实现UDAFEvaluator接口3.Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数1）init函数类似于构造函数，用于UDAF的初始化2
2020-09-04 11:29:20
191
原创 主数据管理
主数据主数据（Master Data）是用来描述企业核心业务实体的数据，比如客户、供应商、合作伙伴、员工、产品、物料、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。客商再议360°客户主数据管理...
2020-07-14 09:55:28
241
原创 Kafka 监控
监控主流开源监控Kafka Web ConsloleKafka ManagerKafkaOffsetMonitorKafka三款监控工具比较错误汇总Exception in thread "Timer-0" org.I0Itec.zkclient.exception.ZkNoNodeException: org.apache.zookeeper.KeeperExcepti...
2020-04-20 14:23:51
367
原创 Kafka 常用shell汇总
主题查看主题消息总数$ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafka-host:port --time -2 --topic test-topictest-topic:0:0test-topic:1:0 $ bin/kafka-run-class.sh kafka.tools.GetOffse...
2020-04-16 10:56:33
238
原创 数据库基础-表
表单个表最大数据MySQL对单表记录数没有限制，取决于操作系统对单个文件的限制。业界流传的单表上限数有两个版本：百度系的2000 万行，阿里系持500 万行。其实数值主要取决于：MySQL为了性能，会将表的索引存到内存中，主要取决于 InnoDB buffer size 的大小。超出后，数据库性能就急剧下降。阿里巴巴《Java 开发手册》建议500 万行还是比较通用的。...
2020-04-13 15:43:16
195
原创 Kafka跨网闸，使用映射地址无法连接
作者：半兽人链接：https://www.orchome.com/1903很多人都因为配置 kafka 外网转发而困扰，我这里统一讲一下原理和原因。场景假设比如你有一个 kafka 集群，在阿里云上，该集群有 2 个 broker，A 和 B。kafka 集群：A 内网：172.10.0.2 外网：10.0.21.1B 内网：172.10.0.1 外网：10.0.21.2serve...
2020-04-02 09:02:31
2945
2
原创 大数据学习路线
入门语言Java语言一哥，在大数据圈也是泰山北斗的存在。JavaSE必须学好，这是基础的基础。JavaEE也要熟悉，大数据开发工作中，肯定要写很多接口的。SQL大数据，大数据。数据操作的SQL肯定必须学好，不能停留于增删改查，底层优化也要会。多了解底层原理，多思考优化的方案。Scala学Scala主要是写Spark。Spark在大数据的生态圈中太重要了。Shell平台，组件相关的...
2020-03-16 14:42:26
261
原创 Kafka 使用汇总
简介Zookeeper搭建bin/zkServer.sh start启动Kafaka 拒绝链接问题[2020-02-19 14:58:13,666] INFO Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (u...
2020-02-19 17:39:56
267
原创 包管理工具
java 有 maven，python 有 pip，php 有 composer, nodejs 有 npm， objective-c 和 swift 有 pod。ruby 有 gem. Linux 上有 yum,apt,dnf 等包管理工具。MacBrewHomebrew 官网Macprotmacports 官网Mac下包管理工具Brew 与 macport 对比...
2020-01-03 10:43:56
152
Android程序员如何学习Kotlin？
2017-09-21
Java面试中问题及学习规划
2016-07-26
Struts2框架，调用action出错404
2016-01-18
C及C++中浮点数存储情况
2015-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人