- 博客(36)
- 收藏
- 关注
RSS订阅
原创 企业数据建设的一些思考
一直在公司参与企业数字化、大数据、数据分析等方面的工作，阅读及研究过较多的资料，这个文章简单记录下对企业大数据建设的一些思考，及可能的发展，也是作为对各个数据分析平台及大数据的研究的一些总结。经过二十多年的企业IT建设，很多企业从”无系统“发展到”系统太多“，不光有单独部署的内部系统，也有内容丰富的互联网系统，系统已经覆盖到企业经营的方方面面。企业的数据也从“无数据”发展到“数据丰富”的阶段，企业也从原来依靠手工记录，发展到依赖“信息和数据”来进行精细化运营，IT技术已经深入到企业运作的各个方面，为企业.
2022-03-30 17:22:07
2635
原创 产业互联网平台架构怎么来搭建？
产业互联网平台的搭建及运营，是一个类似私域流量的互联网平台，并对此平台分配单独的二级域名，单独的入口，让彼此企业的业务不冲突。从技术上来说，这是一种SAAS（软件即服务）的软件架构，也是现在互联网上比较火的基于SAAS的租户平台系统，从使用者的角度看，通过那些二级域名（租户）进入系统后，只能看到此二级域名（租户）下的数据，看不到其他租户系统的数据。那么，我们要做的产业互联网平台，可以看到是一个租户系统，由企业进行申请及创建，然后通过企业去扩充，或邀请商家/买家进行入驻（打通上下游），来实现自身圈子业务的目的
2022-05-11 18:11:40
1311
原创 开发小技巧系列 - 如何避免NullPointerException？（一）
开发小技巧系列文章，是本人对过往平台系统的设计开发及踩坑的记录与总结，给初入平台系统开发的开发人员提供参考与帮助。在搬砖的过程中，很多小伙伴遇到最多的问题可能就是 NullPointerException（以下简称NPE）了，大部分的程序代码，都是在组装对象或转换对象上（至少业务系统开发都是这样）。比如前端的操作界面向后台传入的各种参数，后台接收到参数后，对参数进行简单或者复杂的处理后，构造成另外一个对象，保存到数据库或者传递给下一个处理方法等等。再比如从后台的数据库中查出某些数据，经过程序的加
2022-04-19 16:30:20
306
原创 开发小技巧系统 - Java实现树形结构的方式有那些？
开发小技巧系列文章，是本人对过往平台系统的设计开发及踩坑的记录与总结，给初入平台系统开发的开发人员提供参考与帮助。在开发的过程中，有时候需要将集合的数据转换成一个树形结构，比如功能菜单、组织机构、或者商品分类等的场景。一般这些数据在数据表的存储中，都是采用行的方式来存储数据，方便对数据进行管理，在表的字段上会有“父ID（parent_id）”的字段，来表示关系。假设有如下表结构及数据：需要转换成一个树形结构，预期结构：如何用java程序来实现呢？可能很多人会想到用递归来实现，这也是最
2022-04-13 13:53:26
2290
转载 使用 TDengine 快速搭建车联网平台
车联网属于物联网的一个分支，通过车载终端采集数据，利用无线网络传输到云服务平台进行持久化存储，最终提供基于实时/历史数据的个性化服务。目前初创型的车辆网企业，接入的车辆通常低于10万，数据采集频率远远大于1秒。这个级别的数据规模，如果采用HBase系的技术方案，需要至少6台8核32G配置的机器，而采用TDengine作为数据存储引擎，一台2核8G的机器就可以完成。技术架构TDengine作为时序处理引擎，可以完全不用Kafka、HDFS/HBase/Spark、Redis等软件，大幅简化大数据平
2020-08-08 10:01:14
1504
原创 物联网初接触
最近公司要开始接触物联网行业，我负责带领几个小弟进行研究。做个笔记，欢迎后来者可以参考。经过东找西找，最后找到了一个国外开源的物联网项目：thingsboard，还有一个MQTT的中间件EMQ X。thingsboard 源代码thingsboard包括2部分，一个是thingboard的物联网平台，一个是lot-gateway。thingsboard github地址：https://github.com/thingsboard/thingsboardloT gateway github地址：
2020-07-11 12:07:03
223
转载 大白话解读企业（数据）“中台系统”
什么是中台系统？它是如何诞生的？它长什么模样？我们为什么需要它？一串串的问题不禁浮现在我们的脑海，今天我们就带着这些问题，一起走进中台。1、中台诞生任何一个软件系统都是通过帮助客户解决问题来实现价值的。针对不同的需求会建立不同的软件项目。这些软件项目包含客户端的应用和后台管理配置的应用。久而久之就形成了固定的“前台”和“后台”系统，而且大家都在乐此不疲地开发着类似的业务系统。但是，时间一长大家就发现了，这些系统中有一些部分大同小异，在做第二个项目的时候并不用将所有的功能重写，可以把之前项目中
2020-07-11 11:49:02
908
1
转载 为什么企业需要数字化中台?
中台战略源于互联网企业，是企业适应数字业务的快速发展和外部竞争环境变化的产物。随着企业规模不断扩大，业务走向多元化发展，2015年12月阿里巴巴启动三年（2015~2018年）的中台战略。当时阿里中台战略的初衷是解决资源浪费和效率低下的问题，其核心是将不同业务线共同用到的数据和技术（软、硬件以及分析技术工具）加以整合、沉淀，成立专门的中台部门，统一支持前台业务需求。中台的形式使得企业可以不用重新设计、开发来自不同部门的新业务需求，从而避免重复功能建设和维护带来的资源浪费，也极大地解决了前台"烟囱林立"、新业
2020-07-11 11:46:38
505
转载 数字化中台的基本特征
过去30年，企业数据管理都以传统的IT架构为基础，以采集数据为主要目的。每当技术部门为业务部门解决问题时，需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体，各个系统数据孤立存在，在其基础上搭建的应用系统更是'烟囱林立'，各自满足业务部门的不同需求。这种情况不仅耗费各部门大量的精力，也使得各个系统难以打通管理，无法形成更强大的数据能力。不同于IT信息技术，中台战略以数据技术为核心，以提升客户价值为目的。数字化中台基于共享服务单元和多层次（数据中台、技术中台.
2020-07-11 11:44:32
2363
转载 数字化中台建设需要注意的误区
本文来源：中欧众创平台、国云数据168大数据经国云数据创始人马晓东授权发布数字化中台建设并不存在一个所谓的'正确模式'，落地方式也会多种多样，在很大程度上并无统一成熟模式可循。企业应视中台战略为其数字化转型的重要组成部分，中台建设应与企业的商业模式、业务发展方向、组织结构、信息化发展程度等紧密结合。数字化中台不只是单一维度的技术概念，单纯认为中台是数据仓库、IT技术工具、大数据分析方法或某个特定应用都是对中台的不全面的错误理解。误区一：'管理系统和分析工具的叠加 = 数字化中台'...
2020-07-11 11:39:43
423
转载 ElasticSearch 官方调优指南 请收下！
ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置第一部分：调优索引速度https://www.elastic.co/guide/en/elasticsearch/reference/current/...
2020-03-17 14:19:40
940
原创 奇怪问题：Jersey 竟然报加载fastjson 的错误：java.lang.NoSuchFieldError: UTF8
今天同事遇到一个奇怪的问题（项目是spring-cloud，集成了Fastjson工具），错误图如下：看了下很奇怪，其他工程都是同样的结构，都没不会报这样的错误。为什么jersey会跟fastjson有关联呢？用的jersey的版本是1.19.1，fastjson是1.2.58，初步怀疑是2者版本不兼容。查了下fastjson的资料，原来是fastjson在1.2.36后，加入...
2019-12-03 15:33:11
3703
转载 Redis的内存淘汰策略
我们知道Redis是基于内存的key-value数据库，因为系统的内存大小有限，所以我们在使用Redis的时候可以配置Redis能使用的最大的内存大小。1、通过配置文件配置通过在Redis安装目录下面的redis.conf配置文件中添加以下配置设置内存大小。//设置Redis最大占用内存大小为100Mmaxmemory 100mbredis的配置文件不一定使用的是安装目录下面的...
2019-11-22 20:37:55
153
转载 拼多多面试：如何用 Redis 统计独立用户访问量？
众所周至，拼多多的待遇也是高的可怕，在挖人方面也是不遗余力，对于一些工作3年的开发，稍微优秀一点的，都给到30K的Offer，当然，拼多多加班也是出名的，一周上6天班是常态，每天工作时间基本都是超过12个小时，也是相当辛苦的。废话不多说，今天我们来聊一聊拼多多的一道后台面试真题，是一道简单的架构类的题目：拼多多有数亿的用户，那么对于某个网页，怎么使用Redis来统计一个网站的用户访问数呢？使用...
2019-11-22 20:36:09
114
转载 太厉害了，终于有人能把TCP/IP 协议讲的明明白白了
作者：涤生_Woo一图看完本文一、 计算机网络体系结构分层计算机网络体系结构分层计算机网络体系结构分层不难看出，TCP/IP 与 OSI 在分层模块上稍有区别。OSI 参考模型注重“通信协议必要的功能是什么”，而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”。二、 TCP/IP 基础1. TCP/IP 的具体含义从字面意义上讲，有人可能会...
2019-10-12 09:04:09
153
转载 一文让你知道Elasticsearch为什么这么快？
思考几个问题： 为什么搜索是近实时的？ 为什么文档的 CRUD (创建-读取-更新-删除) 操作是实时的? 复习一遍从上到下的整体结构这里有篇文章讲解的很形象：image这是集群cluster。image这是节点Node：就是个机器。image由一个或者多个节点，多个绿色小方块组合在一起形成一个ElasticSe...
2019-10-02 17:21:59
6053
1
原创 一种简单搭建jmeter集群的方式
起因本来之前对jmeter是小白，只听过没用过，于是在网上搜了《jmeter集群》的搭建，搜了半天，基本上没有完整的文档说明，要按照搜的结果进行操作，最终是以失败结束。为了让普通的jmeter使用者能快速搭建一个简单的集群，特将操作的过程记录下，方便jmeter的使用者进行操作。说明笔者采用非SSL的方法进行集群搭建。目的压测某个服务的承压能力，及TPS值。经过对比，选择jmeter...
2019-09-29 10:22:53
2026
转载 Java界最神秘技术ClassLoader，吃透它看这一篇就够了
文章转载自公众号《码洞》 ，作者：老钱ClassLoader 是 Java 届最为神秘的技术之一，无数人被它伤透了脑筋，摸不清门道究竟在哪里。网上的文章也是一篇又一篇，经过本人的亲自鉴定，绝大部分内容都是在误导别人。本文我带读者彻底吃透 ClassLoader，以后其它的相关文章你们可以不必再细看了。ClassLoader 做什么的？顾名思义，它是用来加载 Class 的...
2019-09-27 09:17:39
1045
转载 深入理解 Java 内存模型（四）——volatile
volatile 的特性当我们声明共享变量为 volatile 后，对这个变量的读 / 写将会很特别。理解 volatile 特性的一个好方法是：把对 volatile 变量的单个读 / 写，看成是使用同一个监视器锁对这些单个读 / 写操作做了同步。下面我们通过具体的示例来说明，请看下面的示例代码：class VolatileFeaturesExample { volatile ...
2019-09-26 17:31:33
124
转载 深入理解 Java 内存模型（三）——顺序一致性
数据竞争与顺序一致性保证当程序未正确同步时，就会存在数据竞争。java 内存模型规范对数据竞争的定义如下：在一个线程中写一个变量， 在另一个线程读同一个变量， 而且写和读没有通过同步来排序。当代码中包含数据竞争时，程序的执行往往产生违反直觉的结果（前一章的示例正是如此）。如果一个多线程程序能正确同步，这个程序将是一个没有数据竞争的程序。JMM 对正确同步的多线程程序的内存一致性做...
2019-09-26 17:27:32
139
转载 一文让你懂——Java反射机制
来源：https://www.toutiao.com/i6737996758422389251/概述JAVA反射机制：在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意方法和属性；这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制。Java反射(Reflection)被视为动态语言的关键，反射机制允许...
2019-09-24 17:24:51
150
转载 Java多线程之基本概念
来源：https://www.toutiao.com/i6736445361914642956/简介本文章主要简要概述Java多线程的一些基本概念与原理；因本人能力有限，若文章中与Java API以及相关书籍有议论的地方烦请各位读者留言探讨，一起共勉。线程相关概念什么是程序(Program)？程序就是为完成特定任务、用某种语言编写的一组指令的集合。即指一段静态的代码，静态对象...
2019-09-23 09:26:40
117
转载 Java之多线程同步
来源：http://tinyurl.com/y4yd4vsk前言本章中线程同步问题会涉及到以下关键字及接口：synchronized 关键字； Lock 接口； ReentrantLock 类； wait()/notify() 方法； volatile 关键字。线程同步问题引入测试代码：主程序代码：主程序，创建RunableThread对象同时启...
2019-09-23 09:24:13
100
转载 多账号统一登陆，账号模块的系统设计
现在几乎大部分的 App都支持使用多个第三方账号进行登录，如：微信、QQ、微博等，我们把此称为多账号统一登陆。而这些账号的表设计，流程设计至关重要，不然后续扩展性贼差。本文不提供任何代码实操，但是梳理一下博主根据我司账号模块的设计，提供思路，仅供参考。一、 自建的登陆体系1.1.1 手机号登陆注册该设计的思路是每个手机号对应一个用户，手机号为必填项。流程：...
2019-09-22 13:24:17
1702
转载 深入理解Java内存模型（二）——重排序
数据依赖性如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型：名称 代码示例 说明 写后读 a = 1;b = a; 写一个变量之后，再读这个位置。 写后写 a = 1;a = 2; 写一个变量之后，再写这个变量。 读后写 a = b;b = 1; 读一个变量...
2019-09-22 11:30:45
160
转载 深入理解Java内存模型（一）——基础
并发编程模型的分类在并发编程中，我们需要处理两个关键问题：线程之间如何通信及线程之间如何同步（这里的线程是指并发执行的活动实体）。通信是指线程之间以何种机制来交换信息。在命令式编程中，线程之间的通信机制有两种：共享内存和消息传递。在共享内存的并发模型里，线程之间共享程序的公共状态，线程之间通过写-读内存中的公共状态来隐式进行通信。在消息传递的并发模型里，线程之间没有公共状态，线程之间必须通过...
2019-09-22 11:26:57
129
转载 JDK/Java 13 发布
文章转载自 OSCHINA 社区[http://www.oschina.net]9 月 17 日，JDK/Java13 正式 GA。此版本带来了以下几大新特性：JEP 350，Dynamic CDS Archives：扩展应用程序类-数据共享，以允许在 Java 应用程序执行结束时动态归档类。归档类将包括默认的基础层 CDS（class data-sharing）存档中不存在的...
2019-09-20 09:02:12
111
转载 福利，程序员如何走向软件架构师？
小团队一般 10 人左右，其中常常是技术最牛的人做架构师（或TL）。所以，架构师在广大码农中的占比大概平均不到 10%。而架构师也可以分为初级、中级、高级三档，江湖上真正高水平的软件架构师就更少了。所以，大部分（超过九成的）码农干上许多年，还是做不了架构师，这是什么原因造成的呢？1：码农分为真的能写代码的，以及自认为能写代码的。2：真的能写代码的码农又分为自认为写的不错的，以及真的还不...
2019-09-20 08:59:07
256
转载 微服务开发中的数据架构设计
本文来自作者 陈伟荣 在 GitChat 分享的文章【微服务开发中的数据架构设计】前言微服务是当前非常流行的技术框架，通过服务的小型化、原子化以及分布式架构的弹性伸缩和高可用性，可以实现业务之间的松耦合、业务的灵活调整组合以及系统的高可用性。为业务创新和业务持续提供了一个良好的基础平台。本文分享在这种技术架构下的数据架构的设计思想以及设计要点，本文包括下面若干内容。 微服务技术框...
2019-09-19 17:16:30
277
转载 这样讲 SpringBoot 自动配置原理，你应该能明白了吧
作者：你在我家门口链接：https://juejin.im/post/5ce5effb6fb9a07f0b039a14来源：掘金前言小伙伴们是否想起曾经被 SSM 整合支配的恐惧？相信很多小伙伴都是有过这样的经历的，一大堆配置问题，各种排除扫描，导入一个新的依赖又得添加新的配置。自从有了 SpringBoot 之后，咋们就起飞了！各种零配置开箱即用，而我们之所以开发起来能够这么爽，自动配置...
2019-09-16 11:08:56
134
原创 openresty/nginx在mac系统上报 403 fobidden的解决办法
随手笔记系列今天准备在Mac系统上通过openresty调试静态页面时，突然在浏览器上面报 403 Fobidden， 感觉很奇怪，之前安装后试过浏览页面不会报错。检查openresty的access_log，可以看下如下提示：感觉应该是openresty没有权限访问资源页面，资源页面确实是存在，于是想到看openresty是用什么用户启动的，用ps -ef|grep openresty...
2019-09-14 15:55:01
9427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人