- 博客(76)
- 收藏
- 关注
RSS订阅原创 数据库相关
# drop、truncate、 delete区别最基本： drop直接删掉表。 truncate删除表中数据，再插入时自增长id又从1开始。 delete删除表中数据，可以加where字句。 （1） DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存以便进行进行回滚操作。TRUNCATE TABLE 则一次性地从...
2020-01-20 10:22:33
287
转载 3个问题带你入门数据建模
一、何为建模数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。 前者一般仅反映数据的最新状态，按单条记录事务性来处理；其优化的核心是更快地处理事务。 后者往往是反映数据一段时间的状态变化，按大批量方式处理数据；其核心是高性能、多维度处理数据。 通常我们将操作型系统简称为OLTP（On-Line Transacti...
2020-01-17 16:24:10
999
原创 2020年1月零散笔记
MySQL是如何对一条简单的更新语句加锁的？https://mp.weixin.qq.com/s?__biz=MzIzMzgxOTQ5NA==&mid=2247490453&idx=2&sn=6e7f0476696432f267a045fcc31f5af8&chksm=e8fe879cdf890e8a1de182c26f1f8c7cd0d2babff8ea15d...
2020-01-17 15:54:29
232
转载 大数据技术栈速览之：Redis
Redis是干嘛用的？Redis可以用作持久化的存储吗？那Redis怎么进行持久化操作呢？Redis的内存淘汰机制有哪些？除了分布式锁、消息队列...我们还可以用Redis做哪些事情？分别利用了Redis的哪个指令？-----------------------------------Redis闲谈：构建知识图谱REmote DIctionary Server(Redi...
2020-01-17 15:18:59
345
原创 Artha在线JVM调试神器
可远程观察jvm的工具：$JAVA_HOME/bin/jvisualvm.exe观察堆内存情况： heap dump？N个G，数小时---No。jmap -histo 1300 | head -20 可查看占用内存最多的类。top：cpu 内存繁忙jstack：死锁等待？jmap -histo:查看占用内存最多的类jmap -dump ：导出整个堆jhat...
2019-12-25 16:47:09
672
原创 数仓DataStar
事实表，维度，度量，指标之间的关系维度通常是一个数据记录的属性，度量是某一个维度根据特定聚合函数生成的值；group by 的属性通常就是维度，计算的值则是度量。维度一般指某个特征，比如要分析一个网站的用户，可以考虑下面几个维度（特征）：年龄，性别，地域等；而指标通常指全局性的统计量或者统计结果，比如PV，UV，比如转换率等。维度就是从不同的方向、不同的影响角度来思考，且维度不可加，...
2019-12-25 14:06:43
1383
原创 大数据技术栈速览之：Kafka
https://blog.csdn.net/lingbo229/article/details/80761778Kafka的特性:- 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。- 可扩展性：kafka集群支持热扩展- 持久性、可...
2019-12-12 19:03:01
225
原创 2019.11.零散笔记
《精益创业》一书对 MVP 和迭代思维有比较好的讲解，可以看看。PS：有篇老外写的关于 MVP 的文章不错，其中的配图被到处使用。可能需要翻墙：Making sense of MVP (Minimum Viable Product) - and why I prefer Earliest Testable/Usable/LovableApache Flink 零基础入门教程h...
2019-12-09 13:53:55
284
原创 中国数字中台行业研究报告（2019艾瑞）笔记
业务数据化--->数据资产化--->资产价值化。容器云、DevOps、微服务成最佳载体，是首选架构。数字中台为业务而生，快速敏捷地响应业务变化，以服务的形式为业务提供支撑，服务接入层以统一的路由适配转发。在整个技术构架上就需要考虑可拓展性、敏捷性、轻量化，并注重与前台的交互，灵活地通过服务编排实现应用功能，满足前台需求。因此数字中台融合分布式、微服务、容器云、DevOps、...
2019-11-30 19:58:41
549
原创 Spring集成Kafka小记
POM引入spring-kafka<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>${spring-kafka.version}<...
2019-11-27 15:59:10
450
原创 Java 5以后各个版本新特性
https://blog.51cto.com/11038441/2331685?source=draJava5开发代号为Tiger(老虎),于2004-09-30发行特性列表 泛型 枚举 自动装箱拆箱 可变参数 注解 foreach循环（增强for、for/in） 静态导入 格式化（System.out.print...
2019-11-19 15:22:59
207
原创 Hadoop权威指南（第三版）笔记
第一章：为什么不用数据库对大量硬盘上的大规模数据进行批量分享，而要用map reduce呢？关乎计算机硬盘的发展趋势：寻址时间的提升远不敌传输速率的提升。寻址是导致硬盘操作延迟的主要原因。另，M/R对半结构、非结构话数据更有效。第二章：气象数据集 详细实战解析第四章：序列化：将结构化对象转化为字节流以便在网络上传输或写到磁盘，经常出现在进程间通信和永久存储。Hado...
2019-11-07 18:26:30
327
原创 大数据技术栈速览之：Spark
Spark Streaming + Kafka集成https://www.cnblogs.com/frankdeng/p/9308585.htmlReceiver方式 vsDirect方式：:各自的优劣势。Spark streaming+Kafka调优：8个途径。
2019-11-06 10:55:53
160
原创 互联网技术经理工作最佳实践
来源：孔凡勇（云狄）的分享：《细说Tech Leader在开发团队的核心职责》开发规范协作流程配置规范统一配置规范，包括IDE、maven、git、各种环境参数等。这些配置都放在WIKI上，方便新来的同学看。命名规范包、类、接口都要按规范来命名，不要整些半土半洋，只有你自已理解的命名。可参考阿里之前出过一个JAVA编码规范。API规范前后端分离、微服务架构，AP...
2019-11-01 10:31:07
723
原创 技术转管理
目录技术管理者的核心能力技术转管理须迈过的9道坎菜鸟心态，对管理者的“技术能力”认知不足缺乏管理思维，仍是技术思维替下属干活，让下属无活可干讲“义气”的大哥，无法公正客观不做“坏”人，纵容下属犯错不敢扛事，明哲保身树立部门墙，建立“独立王国”七分做，三分讲“纯”管理，丢掉技术和业务架构师成长秘籍技术管理者的核心能力技术管理者的核心能力，...
2019-10-31 15:33:46
4288
原创 中台那些事儿
大数据“网红”阿里云数据中台简介数据中台的定义阿里巴巴数据中台是阿里云上实现数据智能的最佳实践，它是由数据中台方法论+组织+工具所组成，数据中台方法论采用实现企业数据的全局规划设计，通过前期的设计形成统一的数据标准、计算口径，统一保障数据质量，面向数据分析场景构建数据模型，让通用计算和数据能沉淀并能复用，提升计算效能。数据中台的建设实施必须有能与之配合的组织，不仅仅相应岗位的人员要...
2019-10-31 14:03:26
940
原创 技术人员的价值是什么？技术的价值体现在赋能业务
技术人员的价值是什么？成就感(更炫的技术，功能逻辑设计复杂，业务方满意)? 技术的价值体现在赋能业务。判断一家公司的科技实力，一个直观的标准就是看它对业务的支持、服务和赋能好不好。实现科技支持、科技赋能、科技引领。 技术人员要有系统性思维，帮助业务方去思考业务，用系统的方式更有效地解决业务中遇到的问题，做到技术与业务的深度融合，成为最懂技术的业务专家...
2019-10-31 11:26:24
4134
原创 YC
YC关注于创业者与项目本身，目标与过程同样重要。把创业者作为真正的核心。Make something people wantYC中国录取标准其中考量之一是项目所在市场空间要足够大，能有数百亿美金甚至千亿级美金企业出现的机会。第一届项目所覆盖领域包含的项目：顶级的前沿硬科技如新纳米材料、脑机接口等；人工智能企业场景落地，如工业AGV、离散制造ERP等；另外有用人工智能将社会基础行业数字化，如...
2019-10-18 15:28:36
188
原创 阅读笔记（2019.10.11）
目录《数据资产管理》当数据分析成为一种搜索……构建智慧众筹的数据应用商店《数据虚拟化》《企业IT架构转型之道 阿里巴巴中台战略思想与架构实战》《增长黑客》《大数据之路：大数据实践》《大数据大创新：阿里巴巴云上数据中台之道》《数据资产管理》数据资产定义：企业及组织拥有或控制，能给企业及组织带来未来经济利益的数据资源。拥有数据≠掌握资产只有能创造未来...
2019-10-11 13:08:37
629
原创 大数据技术栈速览之：YARN
在Hadoop 2.0及后续版本中，MapReduce的调度部分被外部化并重新编写为名为Yarn的新组件，但Yarn执行调度与Hadoop上运行的任务类型无关，Yarn可在Hadoop上执行除MapReduce以外的工作。YARN生产背景MapReduce1.x存在的问题: 1.JobTracker单点故障&节点压力大不易扩展&不支持mapreduce以外的计算框架（...
2019-10-09 16:16:45
411
原创 大数据技术栈速览之：Parquet
几种hdfs文件存储格式的区别Text:原始存储,RCFile:结合列存储和行存储的优缺点，Facebook于是提出了基于行列混合存储的RCFile，它是基于SEQUENCEFILE实现的列存储格式，它即满足快速数据加载和动态负载高适应的需求外，也解决了SEQUENCEFILE的一些瓶颈。该存储结构遵循的是“先水平划分，再垂直划分”的设计理念。先将数据按行水平划分为行组，这样一行的数据就可...
2019-10-09 10:46:14
736
原创 大数据技术栈速览之：KUDU
Kudu是什么？有什么特性？它和Hadoop生态的关系是什么？有了HDFS和HBase，为什么还要用kudu？目录Kudu产生的背景Kudu是什么kudu的使用场景Kudu设计优势kudu使用时的优势kudu使用时的劣势kudu基本原理表与schemakudu的底层数据模型Tablet的发现过程kudu的写流程kudu的读流程ku...
2019-10-08 16:55:51
2406
1
原创 Spring Boot整合Neo4j实战
关于Spring Boot整合Neo4j的介绍很多，但自己上手参考的时候，仍然有些东西云里雾里有点晕。慢慢才摸出正道。聊记，分享。一、各组件直接的搭档配合和版本密切相关。版本不合适，配合不上。 我是用的版本搭档是：Noe4j 3.5.8spring data Noe4j 5.1.3.RELEASE (主要包括OGM SUpport、 Spring ...
2019-10-08 14:02:40
1563
原创 Flink vs Storm
[笔记]知乎-用Flink取代Spark Streaming！知乎实时数仓架构演进知乎的实时数仓实践以及架构的演进：实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。 实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。 实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验...
2019-07-05 11:17:04
512
转载 Spring 拦截器、过滤器相关。
http://rensanning.iteye.com/blog/2355214http://rensanning.iteye.com/blog/2360666
2018-03-28 10:37:53
209
原创 Mongo 3.6.1版本Sharding集群配置
Mongo低版本和高版本的sharding集群配置，细节不太一样。目前网上的配置文档大都是针对低版本的。本人在配置3.6.1版本的mongosharding集群的过程中，碰到不少问题，官方文档没有直观的示例，参考起来有点一头雾水。特整理记录下自己的测试环境sharding集群配置过程，供大家参考。Mongo sharding集群由config server，mongos（路由）及shards服
2018-01-04 16:43:02
2039
1
转载 2011年七大热门技术
在国外的一个blog上面看到这么一篇文章！觉得蛮不错的！！现在转给大家！！1.电视上的网络视频。 目前已经有很多人尝试把互联网变成一个用来对抗有线电视的视频发行渠道了，比如Google TV、苹果TV，Boxee Box，Roku等网络电视。没有一种产品能和有线电视抗衡，但是它们通过简单的方式把网络视频带到了电视上。随着Netflix、Vudu、iTunes等服务把越来越多的电视节目转移到互联
2011-10-24 10:35:12
257
原创 zz 2010十大免费建站系统排行榜
(该数据来自华夏名网主机控制面板中常用建站程序一键安装功能) 十大免费建站程序排行榜 站长在选择建站程序的时候往往会反复权衡，功能、执行效率、安全性、后续升级服务都是要考虑的关键要素。我们根据百度指数和中国第一php主机商华夏名网提供的数据，特别发布十大免费建站程序排行榜，本排行榜依照百度上日搜索量排名，同时华夏名网八万虚拟主机客户的安装次数作为参考，能较大程度上反应建站程序的受欢迎程度。 全球最受欢迎的博客程序--wordpress，wp是全球最受欢迎的博客程序，拥有上亿用户，它的简单易用、安全、高
2011-05-27 17:36:00
481
转载 如何低成本打造品牌Android软件
<br />Android为移动市场打开了另外一扇们，越来越多的人开始涌进来。很多人梦想着Angry Birds式的奇迹在自己身上发生，他们渴望自己开发的android 软件能够一夜暴红，然后等着VC排队砸钱。但是事实上，Android Market应用成千上万，真正成功的却寥寥可数，更多的只能是淹没在数以万计的应用之中无人问津。<br />在失败中，有钱的开始找媒体宣传、OEM内置、软件商店推荐等；没钱的小开发者只能在辛苦开发的应用一次次的被淹没之后离开这个充满梦想领域。但 是，经验告诉我们，低成本也可以
2011-04-28 10:25:00
552
转载 Collection List Set Map 区别
这些都代表了Java中的集合，这里主要从其元素是否有序，是否可重复来进行区别记忆，以便恰当地使用，当然还存在同步方面的差异，见上一篇相关文章。 有序否允许元素重复否Collection否是List是是SetAbstractSet否否HashSetTreeSet是（用二叉树排序）MapAbstractMap否使用key-value来映射和存储数据，Key必须惟一，value可以重复HashMapTreeMap是（用二叉树排序） http://tb.blog.csdn.net/TrackBack.aspx?
2011-04-27 17:13:00
286
原创 选择，还是放眼长远的好
记得自己曾写过一篇文章提到过一年多前换工作时的情况。当时IBM给我提供了一个机会，我放弃了，后来有些后悔，甚至可以说，有些后悔不迭。但是刚翻了翻，找不到那篇文章了。 最近对这件事似乎又有了新的看法，觉得，也许，当时的决定其实是对的，长远来说是明智的。之所曾后悔放弃，是因为当时有一些不顺和小小的心理挫折吧。现在想来，我当时放眼长远也许真是正确的。
2009-03-16 14:17:00
339
原创 和老板谈怀孕一事
今天要去医院做例行检查，公司这边正好有要紧的客户需要应对一下，考虑到这，我专门先来公司看看情况，尽量能做点事做点事，然后估计我的号差不多能看的时间，再离开公司去医院。由于要在上班时间外出，便去给L总打招呼，L总正好拉住我谈怀孕这个事。 对于这种事如何和上司谈，我是不太懂的，说这句话的意思是，事后觉得自己还是有一点点天真。 L总问什么，我照直说，我觉得没有不能照
2009-03-16 14:15:00
674
原创 人生第一个猎头电话
昨天接到一个陌生电话，是一个猎头公司。可惜目前的我想动弹也不可能的，因为怀上宝宝了，怎么着也要等到宝宝出世断奶才会考虑换工作了。 有一些些感慨，聊为记录一下。 （1）为了找工作，似乎我们没有隐私可言了。学历学校联系方式年龄性别都要一一在简历上呈现，而且我们不知道这些载着我们充分的隐私的材料会流转到哪里。几乎任何想得到它的人，都能得到。
2009-02-10 14:02:00
397
转载 专访MessageSolution：用归档为存储架构减压
DoSTOR存储专访： "事实上，我们还没有输给过市场上人们为我们圈定的那些竞争对手。" 作为MessageSolution公司的产品总监，梁京伟相信，他的公司给了他一个绝好的机会，让他能够在进入中国的几年里获得极好的市场发展，因为在他看起来，"MessageSolution好像没有什么直接的竞争对手。"而且，对于文件归档以及更专业的邮件归档市场，梁京伟相信，这个市场的庞大，足可以让Message
2009-01-20 16:13:00
346
原创 近期读书记录
发现自己在工作，或者说技术技能积累成长方面的记录很欠缺。总是那么忙，好像总是舍不得把时间花在这样的记录上，虽然知道这样的记录是很有意义的，不仅能记录下自己的成长过程，更重要的是能够帮助理清思路，巩固成果，并逐渐可能成为自己将来决策抉择的一些可靠资本积累，但好像还是没有这样的时间和耐心来仔细写写。哎，说什么好呢？ 最近学习比较勤奋，小有进步，聊作粗略的读书记录来鼓励
2009-01-19 17:51:00
358
原创 哎，危机
金融危机海啸来了，强做镇静但又如何真的能平静？雷曼的突然倒掉曾让我震惊不已，不敢相信这一夜之间发生的事情，而后来金融界蔚为壮观的波涛汹涌也让我瞠目。感觉这一次金融危机非同小可，比2000年前后那次东南亚危机恐怖的多。不知道是不是自己踏入社会，正是承担重担的时候，所以感受深刻的缘故。当前自己所处的阶段正是可能受金融危机影响最严重的阶段，前边后边的人都比我能好点。一个密友已经开始休无
2008-12-26 11:41:00
431
转载 十八个超经典故事
十八个超经典故事一：去过庙的人都知道，一进庙门，首先是弥陀佛，笑脸迎客，而在他的北面，则是黑口黑脸的韦陀。但相传在很久以前，他们并不在同一个庙里，而是分别掌管不同的庙。 弥乐佛热情快乐，所以来的人非常多，但他什么都不在乎，丢三拉四，没有好好的管理账务，所以依然入不敷出。而韦陀虽然管账是一把好手，但成天阴着个脸，太过严肃，搞得人越来越少，最后香火断绝。 佛祖在查香火的时候发现了这个问题，就将
2008-12-05 11:31:00
295
原创 一人不能分饰两角
要想既完美地照应好家庭，又不耽误事业看来是件很难的事了。我不得不有所取舍。都念完硕士了，自己又不甘平庸，看来是很难甘心情愿地沉溺于琐碎家务之中了，也不应这样，不然，不仅严重浪费了国家资源，也辜负了那么多年父母和自己的付出吧。终于明白了这，对于我来说轻松不少。以前总是想去全方位地顾及家庭、爱人、事业，弄得自己很累啊，还常常是什么方面都讨不着好。 醒过来了，有所取舍，我
2008-07-24 17:51:00
334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人