- 博客(113)
- 收藏
- 关注
RSS订阅转载 Hive数据类型
第3章Hive数据类型基本数据类型集合数据类型类型转化3.1基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数...
2019-09-05 16:06:00
224
转载 Ubuntu下安装配置Hive
【提示】在安装Hive之前，首先看你自己的Hadoop和下载的Hive是否相容。一般情况Hive1的几的版本不支持Hadoop3以上的。Hive的安装和配置Hive的官网地址http://hive.apache.org/下载地址http://archive.apache.org/dist/hive/我下载的是apache-hive-1.2.1-bin.tar.gz，本文教...
2019-09-04 14:20:00
502
转载 360数据处理平台的演进与优化读后感
在当今的大数据时代，大数据计算引擎已经从原先最早的Hadoop生态系统演变到了第三代甚至是第四代计算引擎，比如Spark以及Flink等；存储引擎也是呈现多样化的发展，如支持MPP的关系型存储、分布式存储、时序数据库等。大数据生态的多样性给大数据开发的学习成本造成了很大程度的提高。从平台的角度来看，以360公司为例，公司产品形态多样化，包括了PC产品、WEB产品、移动端产品等等，多样化的...
2019-06-17 15:29:00
232
转载 携程的技术演进之路读后感
携程今年动作不断，继5月份收购艺龙后，前不久又宣布了与去哪儿合并，成为国内在线旅游领域当之无愧的霸主。携程在多年的发展中不断进行架构优化，逐步采用分布式架构，解耦业务和架构，提高可扩展性，现在已逐步进化到大量采用开源技术的Java+.Net (.Net主要是为了兼容历史业务)混合技术栈。携程从2013年开始使用OpenStack将基础设施标准化，实现快速部署，帮助减少运维成本。携...
2019-06-10 15:27:00
286
转载 游戏服务器架构演进读后感
1.游戏服务器特征这类软件的特点是要非常关注稳定性和性能。。这类程序如果需要多个协作来提高承载能力，则还要关注部署和扩容的便利性；同时，还需要考虑如何实现某种程度容灾需求。由于多进程协同工作，也带来了开发的复杂度，这也是需要关注的问题。功能约束，是架构设计决定性因素。2.短连接游戏服务器架构对于游戏服务端架构，最重要的三个部分就是，如何使用CPU、内存、网卡的设计3.长链...
2019-06-03 15:27:00
115
转载 微博深度学习平台架构和实践读后感
随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。人工智能和深度学习人工智能为机器赋予人的智能。随着计...
2019-05-27 15:26:00
143
转载 关于SOA架构的案例分析
每个企业、公司或者其他部门都应该有自己的业务流程。拥有优化、高校的业务流程，能够随时适应市场需求的变化的企业在当今激烈的社会竞争中才能脱颖而出，为了实现这个目标，企业业务流程管理必须要具有更多的灵活性。而SOA就是来帮助企业系统者以更迅速、更可靠、更具有可重用性架构整个业务系统流程，以SOA架构的系统更够更加地从容面对业务的快速变化。除此之外，SOA能够帮助软件工程师站在一...
2019-05-23 22:17:00
250
转载 途牛抢票系统架构演进读后感
铁路作为中国最重要的交通工具，每一年春运都要面对浩浩荡荡的返乡潮，虽然铁路蓬勃发展，但依然无法支持如此庞大的返乡人群 — 2018年全国春运旅客发送量近30亿人次，2019年预计会更多，每一年春运，一票难求都是一个热门话题。途牛抢票监控系统成立于2016年6月，通过借助抢票系统余位监控、线下票台供应商渠道自动发起占位出票，提高用户出票成功率。主要有一下三个部分：系统确立、系统拆分...
2019-05-20 15:25:00
211
转载 美团配送系统架构演进读后感
美团配送自成立以来，业务经历了多次跨越式的发展。业务的飞速增长，对系统的整体架构和基础设施提出了越来越高的要求，同时也不断驱动着技术团队深刻理解业务、准确定位领域模型、高效支撑系统扩展。如何在业务高速增长、可用性越来越高的背景下实现系统架构的快速有效升级？如何保证复杂业务下的研发效率与质量？本文将为大家介绍美团配送的一些思考与实践。-》配送业务从物流到同城即时配送同城即时配送...
2019-05-13 15:23:00
141
转载 如何使用VS2013进行单元测试和查看代码覆盖率
新建一个C#控制台项目，如下图：新建一个Cmp.cs将代码写入：右击解决方案管理器新建一个单元测试项目：右击引用将测试项目导入进去：在测试类的头部添加Test的引用：接着就编写测试的代码，测试代码如下：using System;using Microsoft.VisualStudio.Test...
2019-05-08 16:40:00
1176
转载 荔枝架构演进历程读后感
荔枝，致力于打造声音处理平台，帮助人们展现自己的声音才华。荔枝集录制、编辑、存储、收听、分享于一体，依托声音底层技术积淀，具有声音节目录制功能，可在手机内完成录音、剪辑、音频上传和语音直播。简单理解，荔枝APP上有很多主播，主播和用户之间可以通过声音互动。目前，荔枝APP月均活跃用户达到好几千万，月均活跃主播达到好几百万，全球注册用户和音频节目数量都已过亿。架构演进时间轴：201...
2019-05-06 15:22:00
107
转载 关于海尔电商峰值系统架构读后感
此篇文章重点介绍了海尔电商平台的架构方案，也用不少篇幅阐述面临的场景和挑战，以及在架构方案决策过程中的关注点。其实作为一个优秀的电商平台，提供极致的用户体验、让技术最大化地创造价值，才是架构的终极目标。多数电商平台都会经历相似的过程，流量和业绩每年以几倍至十几倍的速度增长，每年都要接受几次大规模、全方位的系统检阅，例如双11、周年庆等购物狂欢节，期间流量和订单可能是日常的十几倍甚至几...
2019-04-29 15:19:00
131
转载 苏宁易购：商品详情系统架构设计读后感
商品详情系统是一个展示商品基本信息、参数等详情的系统，是商品购买的入口。它是电商平台中访问量最大的系统之一，苏宁易购大促期间PV量和UV量很大，这么大的访问量对系统的并发能力要求高。在业务上它与周边系统的关系是高耦合。依赖商品详情系统的的系统特别多，比如：促销系统、推荐系统、大聚惠、等众多营销系统、还有主数据系统、购物车、收藏夹等，业务复杂度高对系统设计提出更多的要求。商品详情...
2019-04-22 09:56:00
124
转载 知乎网站架构变迁史读后感
Python简单且强大，能够快速上手，开发效率高，而且社区活跃。Tornado框架支持异步，适合做comet应用，简单轻量，学习成本低，有Facebook的社区支持。可以跟浏览器建议长连接，便于实时推送Feed和通知。最开始知乎的开发把基本把团队的经理全放在产品功能的开发上，但是初期投入实践时很多具体使用用户都反馈网站很慢，网络不均衡、全国用户访问的情况都不一样，解决此问题之后，...
2019-04-15 09:30:00
135
转载 java生成PDF文档
依赖jar包：iText-2.1.7.jar、iTextAsian.jar、itext-rtf-2.1.7.jar代码如下：package com.servlet;import java.awt.Color;import java.io.FileOutputStream;import java.text.DecimalFormat;import java....
2019-04-07 17:54:00
105
转载 开发记录5
完成了关键字的提取，自动分类，内容的查重，下面就是对生成PDF格式的检测报告代码如下：package com.servlet;import java.awt.Color;import java.io.FileOutputStream;import java.text.DecimalFormat;import java.util.Arrays;impor...
2019-04-07 17:44:00
96
转载 开发记录4
完成了任务2，实现了对词条的自动分类以及对词条关键字的提取，这次就是开始任务3对百度百科进行全文检索，判断抄袭语句，以及全文相似比。思路：对任务2中提取的关键字为准对爬取百度百科，然后对比词条解释和爬取的内容进行比对，相似度大于80%的就将抄袭语句插入数据库，然后再写入PDF，其中抄袭的语句用红色标注出来方法：1.用余弦相似度对语句进行比对，将相似度大于80%且长度大于13个字符...
2019-04-07 17:39:00
96
转载 开发记录3
上次完成了关键字的提取，这一次就实现自动分类在实现自动分类的时候，我在晚上找了很多关于自动分类的方法，找了关于spark，关于python的，java的等等都比较乱然后我又在网上找了基于python的机器学习，可以自动对内容进行自动分类，代码如下：#!/usr/bin/env python# coding=utf-8import sysimport jieba...
2019-04-07 17:27:00
1753
转载 豆瓣的基础架构读后感
BeansDB主要的特点是支持海量KV数据库——相比Redis这种支持几十个G到几百个G的 内存KV数据库，BeansDB可以支持到上百T的数据。另外BeansDB最大的好处就是运维很简单，性能、可用性、扩容都很好，也实现了最终一致性。 跟豆瓣其他工程团队一样，平台部也强制大家做code review。这对于核心系统来说很重要的一点在于，code revie...
2019-04-07 09:08:00
82
转载 开发记录2
上次完成了功能描述（1）将数据导入到数据库所以这一次，我准备开始第二个功能：将手册涉及的热词自动分类展示，将每个热词自 动创建关键字、模糊检索两个字段便于检索起初老师建议的是用spark完成，由于一直在windows没配置好spark环境，在Ubuntu中又太卡，所以我决定用python实现此功能今天就先提取关键字：1.首先我在清华大学的一个网站上下载了一个词典，词典中都...
2019-04-02 23:40:00
137
转载 开发记录1
正式开发的第一天将老师给的word文档的内容写进数据，如何写进数据库呢？首先想到的是用java读取文件，将文件按照一定规则划分，并写入数据库，当然这是一种方法，大二的时候也做过类似的训练。但是这一次我用的是python（或许是因为最近在学python，想要试一试），众所周知，python大部分用来获取网页上的内容，用来爬去网页标签中的内容。基于这种前提，我先将word文档转换...
2019-04-02 23:21:00
101
转载 大数据技术大作业1
作业内容：1、 项目名称：信息技术手册查重错误比对分析2、 功能概述： （1） 数据导入：要求将提供的信息技术手册文档倒入数据库中 （2） 数据分类：将手册涉及的热词自动分类展示，将每个热词自 动创建关键字、模糊检索两个字段便于检索； （3）数据查重错误分析报告： 按照提供的维普论文检测报告的形式，将信息技术手册中的 所有词语解释与网络资源（例如百度...
2019-04-02 23:04:00
1687
转载 新浪微博平台架构读后感
微博绝对是现在使用用户数很大的了，在现在生活中基本处处都可以看到有人在看微博。随着应用规模的不断增长，原始的微博架构已经不能满足现在的功能需求了，于是这一篇博客，就“新浪微博平台架构的演变”来探讨架构的性质。第一代架构为LAMP架构，数据库使用的是MyIsam，后台用的是php，缓存为Memcache。第二代架构对业务功能进行了模块化、服务化和组件化，后台系统从php替换为J...
2019-03-31 00:52:00
86
转载 京东618一元抢宝系统的架构优化读后感
这篇文章主要以京东618的实践：一元抢宝系统的数据库架构优化为例子来讲述数据库的设计对整体性能的影响以及如何改进数据库来满足需求。 改进的原因：“一元抢宝系统”是京东一个新兴的业务系统，从上线以来用户下单的数量一直持续增长。在距离618前两个月时，京东商城商品虚拟研发部对系统做了整体预估，订单量快速增长及618大促的到来都将带来单量剧增的结果，到时势必会...
2019-03-24 01:26:00
111
转载 阿里游戏高可用架构设计实践 ------读后感
这篇文章基本总体就是在讲系统的可用性问题，即如何从技术层面解决这个问题。在对可用性的解释，我在之前的《以《淘宝网》为例，描绘质量属性的六个常见属性场景》中有解释到。可用性：可用性是指系统正常运行时间的比例，是通过两次故障之间的时间长度或在系统崩溃情况下能够恢复正常运行的速度来衡量的。在对可用性的使用场景，我在之前的《以《淘宝网》为例，描绘质量属性的六个常见属性场景》中有解释到。高...
2019-03-17 21:52:00
58
转载 以《淘宝网》为例，描绘质量属性的六个常见属性场景
以淘宝“双十一”为场景对淘宝网进行系统质量分析1.可用性场景设想：双十一狂欢节时很多用户同时访问淘宝网，导致系统崩溃刺激源：用户刺激：很多用户同时进行登录、查询、购买操作环境：用户正常操作制品：系统服务器响应：系统响应人数过多，系统检测到事件，记录故障，通知系统响应度量：一定时间后，排除故障、系统恢复正常使用2.可修改性场景设想：由于恰逢双十一狂欢...
2019-03-13 16:52:00
135
转载 余额宝技术架构及演进-----读后感
在对王概凯的架构漫谈总结了以下之后，初步对对架构的有了基本的认识，明白了架构师的职责。阅读此篇公众号推送的文章，我将从对余额宝的架构的迭代更新进行了总结。余额宝的创新：一是业务上的创新，二是嵌入式直销余额宝技术上的创新：1.基金直销和TA清算的整合2.交易的简化3.余额宝是核心业务在云上运行的系统余额宝架构的演进：·IOE架构——>云端架构·...
2019-03-10 22:16:00
248
转载 《架构漫谈》---读后感
通过对王概凯写的《架构漫谈1-9》https://www.infoq.cn/profile/1279517?menu=publish#menu-trace的阅读，总结出以下几点：（一）什么是架构？1、根据要解决的问题，对目标系统的边界进行界定。2、并对目标系统按某个原则进行切分。切分的原则，要便于不同的角色，对切分出来的部分，并行或串行开展工作，一般并行才能减少时间。3、...
2019-03-08 21:46:00
102
转载 蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践读后感
架构的提出主要就是解决人的问题，比如：支付宝逻辑数据中心架构解决了：1.尽量减少了跨单元交互和使用异步化，使得异地部署成为可能。2.实现N+1的异地灾备策略，大大缩减灾备成本，同时确保灾备设施真实可用。3.大大提升了整体的高可用性。4.基于该架构，线上压测、流量管控、灰度发布等以前难以实现的运维管控模式，现在能够十分轻松地实现。分布式数据架构：消费记录数据库集群，...
2019-03-03 23:31:00
144
转载 心理小程序开发进度七
今天：集中复习软件设计模式转载于:https://www.cnblogs.com/lovema1210/p/10219774.html
2019-01-04 14:43:00
94
转载 心理小程序开发进度九
进行建民大作业：北京市民分析数据转载于:https://www.cnblogs.com/lovema1210/p/10219790.html
2019-01-02 14:45:00
58
转载 心理小程序开发进度八
修改.net复习软件设计模式做实验转载于:https://www.cnblogs.com/lovema1210/p/10219780.html
2019-01-01 14:44:00
74
转载 心理小程序开发进度六
继续做进销存系统并进行整合转载于:https://www.cnblogs.com/lovema1210/p/10219767.html
2018-12-30 14:42:00
78
转载 心理小程序开发进度五
修改.net系统做进销存管理系统转载于:https://www.cnblogs.com/lovema1210/p/10219751.html
2018-12-29 14:40:00
94
转载 心理小程序开发进度四
.net作业验收软件设计模式考前准备转载于:https://www.cnblogs.com/lovema1210/p/10219745.html
2018-12-28 14:39:00
62
转载 心理小程序开发进度三
今天要做：心理小程序的界面设计今天做了：杨老师的软件开发案例转载于:https://www.cnblogs.com/lovema1210/p/10219735.html
2018-12-27 14:37:00
78
转载 心理小程序开发进度二
今天要做：心理测试界面的搭建今天做了：写铁路概论论文6000字转载于:https://www.cnblogs.com/lovema1210/p/10219720.html
2018-12-26 14:35:00
87
转载 心理小程序开发进度一
今天准备要做：心理测试数据表的构建做了：大数据企业图谱测试分析系统未做：心理测试数据表的构建转载于:https://www.cnblogs.com/lovema1210/p/10219707.html...
2018-12-25 14:34:00
92
转载 HDFS数据读写过程
参考：https://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003297027&courseId=10028870021.读取文件读数据的过程2.写入文件写数据的过程注：转载于:https://ww...
2018-09-03 15:21:00
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人