- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Flume快速上手&原理讲解
title: Flume分享date: 2020-04-3 19:20:00categories:技术tags:分享整理、分享一下Flume明白Flume的应用场景能够使用Flume做基本的数据收集了解Flume的基本设计原理与我们的系统相互映照，从中吸取经验一、Flume解决了什么问题1.1 解决问题数据收集是大数据的基石。如何将 分散的、异构的数...
2020-04-03 20:40:04
276
原创 《代码的艺术》笔记
title: 《代码的艺术》笔记date: 2020-02-22 22:20:35categories:代码tags:整理这周，看了下章淼老师的视频，写个笔记，做一些整理。微信公众号：章老师说，也可以关注了解下。个人感觉蛮好。结合自身，我是软件工程专业毕业，理解软件工程师不等于码农，也不等同于程序员。举个例子，建房子，可以是平房也可以大厦，做个普通的平房一般的泥瓦匠可以完...
2020-02-22 23:49:58
552
原创 来上海三周找工作小总结（Java）
2019年11月底到2019年12月初，我来到上海，找个三周的工作。有Java开发岗和数据挖掘岗，第一周没什么准备，加上看数据挖掘看了三个月，Java面试基本上一败涂地，第二周准备了下，逐渐拿了几家offer。后来有同学想参考我的找工作经历，遂总结如下。本篇主要从Java开发的角度整理。一、基础篇1.1 手写算法基本上一线互联网的面试过程中，都有现场手写算法的过程。所以算法一定要有所准备，...
2020-02-01 22:50:42
615
原创 机器学习-KNN算法-原理分析与实战
title: 机器学习-KNN算法date: 2019-08-16 15:17:00categories:技术tags:机器学习NumpyKNN算法的理解。定义如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。本文采用欧式距离，即两点之间的直接距离。思想通过你的邻居，判断你是哪种类型KN...
2019-09-23 13:14:35
450
原创 Ubuntu16安装MySQL
title: Ubuntu16安装MySQLdate: 2019-09-03 20:07:00categories:技术tags:MySQL前言，因为使用hive需要使用mysql存储元数据，所以我需要在虚拟机ubuntu上安装mysql。之前用压缩包安装过，没有记录，本次形成文档，记录下来。在查询过程中，发现网上有更简单的方法，参考记录如下。第一步sudo apt-...
2019-09-23 13:09:27
140
原创 Ubuntu16安装HIVE全程记录
title: Ubuntu16安装HIVE全程记录date: 2019-09-04 20:57:00categories:技术tags:Hive为了方便的使用hdfs，我安装个hive，记录如下。什么是 HiveHive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL...
2019-09-23 13:08:02
817
原创 HBase引入与理解
title: HBase引入与理解date: 2019-09-05 14:00:00categories:技术tags:HBaseHive适用于离线分析，速度较慢，无法支持在线业务。所以引入HBase，记录本文。HBase特点HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分...
2019-09-23 13:06:27
184
原创 决策树的演变与理解
title: 决策树的演变与理解date: 2019-09-19 20:20:35categories:技术tags:机器学习决策树决策树是机器学习十大算法之一，整理下决策树的演变，并把为何这么演变的原因阐述如下，以便加深理解。思想起源决策树的思想起源很简单，古语有云“朝霞不出门，晚霞行千里”，就是暗合决策树的思想。如果今天有朝霞则可以预测今天有雨；如果看到了晚霞...
2019-09-19 22:29:40
3526
原创 《Spark机器学习》通读
title: 《Spark机器学习》通读date: 2019-09-18 17:20:35categories:技术tags:整理最近，花了三天时间通读了Nick Pentreath的著作《Spark机器学习》。醍醐灌顶，有酣畅淋漓之感，记录、梳理该书的核心内容，避免以后自己遗忘。因为我是做软件工程出身，擅长应用开发、功能实现。对于机器学习算法理解还在学习、加深阶段，...
2019-09-19 13:21:26
281
原创 Spark&Pycharm开发问题汇总
PyCharm 修改 pip 源的方法：在Linux系统中，按照网上修改Pycharm默认是无法生效的，必须进行如下操作：linux下: 修改 ~/.pip/pip.conf （如果没有自己创建一个）， 内容如下：[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple参考：https://blog.csdn.net...
2019-09-17 15:44:03
228
原创 ElasticSearch与kibana流水账
title: ElasticSearch与kibana流水账date: 2017-03-26 14:20:00categories:技术tags:实习近期需要进行日志收集，将各主机中的日志收集起来，放到elasticSearch中。然后利用es进行统计、搜索。简单介绍一下~介绍：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力...
2019-09-14 22:14:54
165
原创 事物的状态-状态模式
title: 事物的状态-状态模式date: 2018-09-05 16:11:35categories:工作tags:Java前段时间看到有代码在用状态机，而这段时间重温软件设计模式，刚好有状态模式，记录一下。场景：对于一个自动售卖机的小系统，往往会有，投币、售出、售罄、退钱等状态。状态之间需要转换，才能完成一系列操作，实现某一个完整的功能。糟糕的解决方案...
2019-09-14 22:13:36
585
原创 关于Linux的TCP相关参数的整理
title: 关于Linux的TCP相关参数的整理date: 2017-2-5 14:08:21categories:实习tags:Linux整理TCP虽然学习过TCP的三次握手与四次挥手，但是对于Linux服务器的这方面参数所知甚少。故在网上搜集了一下，整理如下：net.ipv4.tcp_syncookies = 1表示开启SYN Cookies。当出现SYN...
2019-09-14 22:10:24
302
原创 Java线程池的技巧及应用小结
title: Java线程池的技巧及应用小结date: 2018-07-05 10:11:35categories:工作tags:Java近来重温了一些Java方面关于线程池使用的书籍及使用场景，使用后感觉有必要整理归纳一下。引入：我们使用线程的时候就去创建一个线程，这样实现起来非常简便。但是会有一个问题：如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务...
2019-09-12 22:12:32
217
原创 服务能力输出小结
title: 服务能力输出小结date: 2019-02-02 17:20:35categories:技术tags:感悟近期没什么项目做，就做了一个小改进，因目前各个系统中有不少需要pdf转图片的功能。遂将将之提炼成一个服务。既然是服务，如何提供给使用方使用才比较好呢。这里单就如何提供服务做个小总结。一、定位、明确应用场景第一步明确自己所提供服务所要服务的场景，即该服...
2019-09-12 21:52:57
982
原创 我的秒杀总结
title: 我的秒杀总结date: 2016-11-24 19:50:35categories:技术tags:实习近期 接到一个十万数量的秒杀任务，后台完全由我写。因为之前对秒杀的处理所知甚少，故趁此机会学习了一下。当然，这里 秒杀 只涉及到 “抢” 的环节，没有下单、支付等，故对性能要求不是那么高。最终，“跌跌撞撞”地还是让系统上线了，目前运行良好。项目环境两台...
2019-09-12 21:38:22
844
2
原创 浅谈软件工程学习心得
【张城硕(sa15226451) + 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006 】学习软件工程两个月来，我在孟宁老师的教导下确实获益匪浅。我从一开始对不知如何使用vim和git的无知，逐渐演变到软件设计模块化的熟练。下面， 我将谈谈这两个月学习软件工程线上课程的具体体会。关于软件工程首先，我先谈谈我对
2015-11-12 23:21:54
6575
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人