l2自动驾驶选购,第五代中距离毫米波雷达

过弯减速,降速入弯. 无车道跟车: 自行车,人,狗识别? 而美国道路交通安全局(NHTSA)2016年就曾发布公告,主流汽车厂商到2022年9月后,推出的新车都必须配备防碰撞预警与紧急制动的功能。IIHS也已经把车道保持、自适应巡航、主动刹车等功能列入测试项目,直接影响星级评分。 ...

2019-03-05 17:04:48

阅读数 168

评论数 0

数据分析_ 支付_ 滴滴

1. 联动分析    按天展示总额 2.  点击某天总额.     按省份展示圆饼图.      连续值要用圆饼图, 除以(分段区间值)取整,       例如: 成功率分布在 0.900-0.999之间. 所以以0.01为一个区间 ⌊n/ 0.01⌋*0.01 , 0.901/0.01...

2018-07-04 09:46:02

阅读数 623

评论数 0

如何思考,并如何写文档展示

结构化思考,金字塔思维,思维脑图这几个基础知识不熟悉的自己去查阅.1. 先发散思考,头脑风暴,收集场景,具体例子.2. 对例子进行分类,取类名,并取值. 这个时候 思维脑图缺失了 类目名 这个功能.    脑图:             1. 优势: 快速,变动         2. 劣势: 无标...

2018-06-29 22:07:06

阅读数 92

评论数 0

Blockly 可视化编程 谷歌 流式计算可配置化

kuaide的日志采集配置采用写sql的方式,让用户来配置对采集的数据进行处理.Blockly是一套开源的产品,方便写sql. 更强大的是带有流程控制. 也有更多的函数.貌似没有 group by下的字符串拼接.数据采集,数据可视化,大数据...

2018-05-23 16:28:16

阅读数 367

评论数 0

大数据架构分析

ansible是新出现的自动化运维工具, ansible批量部署Consul 1.典型应用    * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节     见个人日记 http:...

2018-01-29 14:45:27

阅读数 1062

评论数 1

HBase Region regionServer 分裂 原理,过程

1. 架构图    其中 dfsClient 是 hdfs 的客户端组件. 2. HBase Region分裂 regionServer 关于HBase报错org.apache.hadoop.hbase.NotServingRegionException的异常分...

2017-09-25 12:07:42

阅读数 568

评论数 0

mongodb的分片(多字段),分片分裂原理

#指定集合中分片的片键,这里指定为id,time字段。 mongos> db.runCommand({shardcollection:"test.log",key:{id:1,time:1}}) { "collectionsharded" : &qu...

2017-09-22 10:24:15

阅读数 835

评论数 0

mysql 分布式集群方案

作者:知乎用户 链接:https://www.zhihu.com/question/22521550/answer/122813069 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 这些做sharding的产品一般分为三个层次,我来简单说下: 1. prox...

2017-09-20 14:37:32

阅读数 770

评论数 0

hbase 压测结果

环境配置:   测试表有 60个 region ,分布在3台机器上 .  24个线程并发执行. 测试数据: 1k 大小 10个字段. 压测结果:  1. 基本上写都很快 20us  2. 读相对比较慢 400us 3. 范围读慢点  18ms , gc 也频繁 tps :  同时读写 1...

2017-09-19 18:36:25

阅读数 555

评论数 0

HBase 在淘宝的应用和优化小结

下载: http://walkoven.com/hbase:optimization and apply summary in taobao.pdf 1 前言 hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性...

2017-09-18 21:08:31

阅读数 426

评论数 0

Hbase rowKey 最佳实践 和 mysql id 对比

http://geek.csdn.net/news/detail/202994 先说下为什么 rowKey 那么重要. mysql:    innodb , 最好要有自增 id ,这样确保存储的时候叠加,而不是节点分裂.              分表最好是 hash, 而且 id 还是自增. ...

2017-09-18 20:52:24

阅读数 1803

评论数 0

hbase Region split policy 分区 分裂策略 算法

本文是基于hbase-0.98.6-cdh5.2.0 Region split policy HBase的region split策略一共有以下几种: IncreasingToUpperBoundRegionSplitPolicyConstantSizeRegionSplit...

2017-09-18 20:49:30

阅读数 855

评论数 0

分布式数据库, 高级形态 分布式事务数据库

两条路: 1. 关系型数据库 --> 分区后的割裂的关系型数据库 ( 同步有很多方案 ,基于整个库)--> 大统一数据库(mongodb,腾讯的开源,paxos 高可靠 2. key-value 数据库 --> 含 mysql 多查询的 数据库 (phoenix...

2017-09-18 19:08:50

阅读数 324

评论数 0

hbase 替换 mysql

本文着眼于 生成环境使用的经验.     线下试玩: 数据从mysql迁移到hbase的一些思考及设计     代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算...

2017-09-13 12:23:13

阅读数 1795

评论数 0

hbase hive elasticsearch(elsearch) mysql mongodb 技术选型

1. hbase:  hbase + phoenix: 强大的大数据 key-value + 大数据关系型引擎 (无 join,join 性能差)    单节点,可靠性差. 深入HBase架构解析(一) 详细模块图,和流程图 读写流程模块图, 无读写时序图. 启动注册流程,读写流程....

2017-09-13 12:16:01

阅读数 1328

评论数 0

HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能

Hbase  没有使用 map reduce . 采用了映射. 一直疑惑Hbase怎么更新hdfs文件。因为HBase是一个支持高并发随机读写的数据库,而hdfs只适合于大批量数据处理,hdfs文件只能写一次,一旦关闭就再也不能修改了。而HBase却将数据存储在hdfs上!让人费...

2017-09-13 12:01:39

阅读数 440

评论数 0

大数据背景下的后台查询系统设计

前提 首先强调一点: 不管大数据还是还是普通后台查看.   1.不支持排序 (离线平台做的) 实现方式: 1.通过apache phenix sql limit获取前几个id. 2.通过搜索引擎获取前几个id 3.合并id.

2016-12-26 20:14:25

阅读数 1104

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭