自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(105)
  • 收藏
  • 关注

原创 MachineLearning:一、什么是机器学习

什么是机器学习......

2016-08-29 15:20:25 12615

原创 Deep Learning:一、认识DL

从科学、技术和人工智能诞生之初,科学家们就在设想:机器如何能够像人类一样聪明。很多的作家通过文学作品描述这个场景,比如星球大战等等。而机器学习与深度学习是最有希望突破的两个方向。本文中我将主要介绍深度学习的简史、代表性人物、应用领域和相关的资料总结。

2016-08-11 21:44:53 2314

原创 《深入理解Elasticsearch》问答式学习-基本认识

基本认识Elasticsearch:权威指南如何索引文档通过使用 index API ,文档可以被 索引 —— 存储和使文档可被搜索。 但是首先,我们要确定文档的位置。正如我们刚刚讨论的,一个文档的 _index 、 _type 和 _id 唯一标识一个文档。 我们可以提供自定义的 _id 值,或者让 index API 自动生成。使用自定义IDPUT /website/blog/123{ "title": "My first blog entry", "text": "Just tr

2020-08-24 21:53:07 20

原创 spark hive 任务优化浅谈

spark hive 任务优化浅谈数据倾斜数据倾斜的表现问题查找问题解决拆数据合数据预计算其他零零散散的任务优化技巧在日常的etl开发的过程中,不管是使用spark,或者是hive来做开发,经常会遇见任务跑的特别慢,或者任务出现oom,或者数据量并不大,但是任务就是跑的特别慢等等情况。关于任务的优化,我将自己工作中用到的一些小的trick分享出来。数据倾斜数据倾斜是什么?数据倾斜是在计算数...

2020-01-19 23:21:09 101

原创 kafka权威指南-第六章可靠的数据传递问答式学习

1.kafka从哪些方面保障了构建可靠的应用程序?kafka保证分区消息的顺序只有当消息被写入分区的所有同步副本时(但不一定写入磁盘),才回被认为是已提交的。只要还有一个副本是活跃的,那么已经提交的消息就不会丢失消费者只能读取已经提交的消息。2.除了基本的保障机制,还有其他的保障吗?broker配置复制系数不完全的首领选举最少同步副本生产者发送确认...

2018-08-06 21:43:04 170

原创 kafka权威指南-第五章深入kafka问答式学习

1.kafka是如何维护集群成员关系?kafka使用走哦keeper来维护集群成员的消息,每一个broker都有一个唯一标识符,这个标识符可以在配置文件中指定,也可以自动生成。当broker启动的时候,他通过创建临时节点把自己的ID注册到走哦keeper中。kafka组件订阅走哦keeper的/brokers/ids的路径,当有broker加入集群或退出集群时,这些组件就可以获得通知。2....

2018-08-06 21:40:14 300

原创 kafka权威指南-第四章kafka消费者问答式学习

1.什么是消费者和消费者群组?消费者就是应用程序向kafka订阅主题,并从订阅的主题上接收消息的应用程序。kafka消费者群群组是一个群体里的消费者订阅的都是同一个主题,每个消费者接收主题一部分分区的信息。当生产者的写入速度大于目前群组的读出速度的时候,可以通过增加消费者群组里面的消费者数量来接收消息。 当消费者数量超过主题的分区数量的时候,有一部分消费者就会呗闲置。2.可以在消...

2018-08-06 21:37:52 254 1

原创 kafka权威指南-第三章生产者问答式学习

1.生产者是如何向kafka发送消息的? (1)创建ProducerRecoder对象,该对象包含目标主题和要发送的内容,还可以指定分区和键 (2)发送之前,生产者将键和值对象序列化字节数组 (3)数据被传送到分区器,如果指定了分区,则直接返回指定的分区。如果没有指定分区,分区器会根据ProducerRecoder对象的键来选择一个分区。 (4)选好分区之后,生产者就知道该往哪个主题和...

2018-08-06 21:36:15 180

原创 kafka权威指南-第一章问答式学习

最近要阅读kafka权威指南这本书,我决定换一种方法来阅读技术类书籍,通过提问的方法。问题列表如下 1.kafka是什么? kafka是一种分布式的,基于发布/订阅的消息系统。设计的初衷是处理持续数据流的组件,kafka将数据看成持续变化和不断增长的流,在kafka中可以发布和订阅消息流,并把它们保存起来,进行处理。kafka像一个消息系统,允许发布和订阅消息流。但是与传统的消息系统又有区...

2018-08-06 21:33:44 207

原创 hadoop fs -put 做增量上传

最近遇到一个case,对按照每个小时对数据从A地区的s3数据区搬运到B地区的集群上,整个流程如下:A地区Amazon S3数据区->B地区Amazon S3数据区->B地区服务器缓存区->B地区HDFS集群。由于A地区的公网连接不稳定,所以先同步到B地区的Amazon S3数据区在上传到HDFS中。 将B地区服务器缓存区的数据全部hadoop fs -put就可以了,当...

2018-07-16 12:00:18 9216

原创 Linux命令之crontab

什么是Crontablinux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。简而言之,crontab可以定时执行任务。在大数据的应用场景中,常常需要定时脚本,任务调度,完成...

2018-07-10 21:45:42 98

原创 git整理

查看、添加、提交、删除、找回,重置修改文件git help # 显示command的helpgit show # 显示某次提交的内容 git show $idgit co – # 抛弃工作区修改git co . # 抛弃工作区修改git add # 将工作文件修改提交到本地暂存区git add . # 将所有修改过的工作文件提交暂存区git rm # 从版本库中...

2018-06-22 11:35:02 151

转载 linux shell pushd popd dirs命令-转

转载自-https://www.cnblogs.com/davidwang456/p/3784102.html1、dirs1)功能 显示当前目录栈中的所有记录(不带参数的dirs命令显示当前目录栈中的记录)2)语法 (1)格式:dirs [-clpv] [+n] [-n] (2)选项 -c 删除目录栈中的所有记录 -l 以完整格式显示 -p 一个目...

2018-06-05 11:18:18 220

原创 spark使用工作使用过程中的部分错误,原因

java.net.ConnectException: Connection refused 这个问题的出现是由于集群的连接出错导致的。可能的原因集群安全验证没有通过。 这次我出现这个错误就是这个原因。公司的集群中使用kerberos协议身份验证,在使用之前一定要通过kinit。Kinit命令用于获取和缓存principal(当前主体)初始的票据授予票据(TGT),此票据用于Kerbero...

2018-05-31 17:53:26 164

原创 论文阅读-Re 3 : Real-Time Recurrent Regression Networks for Object Tracking

这一篇论文是关于视频的物体跟踪的论文,

2017-10-30 19:28:03 1054 2

原创 Leetcode 73. Set Matrix Zeroes

leetcode 73:set matrix zeroes

2017-08-12 13:54:11 321

原创 Leetcode 66. Plus One

Leetcode 66. Plus One

2017-08-12 12:17:57 296

原创 Leetcode 64. Minimum Path Sum

Leetcode 64. Minimum Path Sum

2017-08-12 12:02:04 263

原创 leetcode 63. Unique Paths II

Follow up for “Unique Paths”:Now consider if some obstacles are added to the grids. How many unique paths would there be?An obstacle and empty space is marked as 1 and 0 respectively in the grid.For

2017-08-12 10:57:52 228

原创 Leetcode 62. Unique Paths

A robot is located at the top-left corner of a m x n grid (marked ‘Start’ in the diagram below).The robot can only move either down or right at any point in time. The robot is trying to reach the bot

2017-08-12 09:16:20 251

原创 Leetcode 57. Insert Interval

Leetcode 57. Insert Interval

2017-07-19 22:10:33 265

原创 Leetcode 56. Merge Intervals

Leetcode 56.Merge Intervals

2017-07-17 17:50:09 382

原创 Leetcode55Jump Game

leetcode 55 jump game

2017-07-05 09:45:14 269

原创 Leetcode48. Rotate Image

题目You are given an n x n 2D matrix representing an image.Rotate the image by 90 degrees (clockwise).Follow up: Could you do this in-place?

2017-07-04 22:28:37 322

原创 Leetcode45. Jump Game II

Leetcode45. Jump Game II

2017-06-29 10:47:00 327

原创 Leetcode42. Trapping Rain Water

Leetcode42 trapping rain water

2017-06-29 09:56:55 289

原创 Leetcode41. First Missing Positive

Leetcode First Missing Positive

2017-06-26 10:53:59 313

原创 Leetcode 40. Combination Sum II

Leetcode 40. Combination Sum II

2017-06-22 22:06:07 307

原创 Leetcode 39. Combination Sum

Leetcode 39.COmbination Sum

2017-06-22 21:46:06 268

原创 leetcode31. Next Permutation

leetcode 31.NextPermutation

2017-06-22 20:48:24 245

原创 深度学习汇报系列:(三、四)概率与优化

课题组大家一起学习《深度学习》这本书,我做的ppt,分享出来。

2017-06-22 17:04:38 357

原创 深度学习汇报系列:(二)线性代数

课题组大家一起学习《深度学习》这本书,我做的ppt,分享出来。

2017-06-22 16:16:24 380

原创 深度汇报系列:(一)深度学习简介

课题组大家一起学习《深度学习》这本书,我做的ppt,分享出来。

2017-06-22 16:08:23 473

原创 《剑指offer》第三章高质量的代码笔记

面试官会根据应聘者写出的代码的规范性来决定是否录用他。 * 代码书写清楚。特别是白纸或白板上书写的时候,速度慢一点没事 * 规范代码布局清晰。缩进清晰 * 规范的代码命名合理。通常面试官会检查应聘者代码是否完成了基本功能、输入边界值是否能够得到正确的输出、是否对各种不合规范的非法输入做出合理的错误处理 从3方面确保代码的完整性 * 功能测试 * 边界测试 * 负面测试,这个指各种可能的

2017-06-21 20:57:01 189

原创 《剑指offer》第三章高质量的代码笔记

面试官会根据应聘者写出的代码的规范性来决定是否录用他。 * 代码书写清楚。特别是白纸或白板上书写的时候,速度慢一点没事 * 规范代码布局清晰。缩进清晰 * 规范的代码命名合理。通常面试官会检查应聘者代码是否完成了基本功能、输入边界值是否能够得到正确的输出、是否对各种不合规范的非法输入做出合理的错误处理 从3方面确保代码的完整性 * 功能测试 * 边界测试 * 负面测试,这个指各种可能的

2017-06-21 20:55:58 210

原创 leetcode27. Remove Element

leetcode 27. Remove Element

2017-06-18 17:33:10 191

原创 leetcode26. Remove Duplicates from Sorted Array

leetcode 26. Remove Duplicates from Sorted Array

2017-06-18 16:24:53 192

原创 leetcode18. 4Sum

Given an array S of n integers, are there elements a, b, c, and d in S such that a + b + c + d = target? Find all unique quadruplets in the array which gives the sum of target.

2017-06-13 13:32:41 294

原创 leetcode16. 3Sum Closest

leetcode 16:3Sum closest越努力越幸运

2017-06-09 12:45:23 260

原创 leetcode15: 3Sum

越努力越幸运。

2017-06-08 22:21:01 238

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除