自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(56)
  • 资源 (18)
  • 收藏
  • 关注

原创 【算法题目解析】杨氏矩阵数字查找

一 背景遇到的一道算法题:已知矩阵内的元素,每行 从左到右递增;每列 从上到下递增; 给定一个数字t,要求判断矩阵中是否存在这个元素。要求:时间复杂度尽可能低二 概念这样的矩阵也叫做杨氏矩阵,通常可以用二维数组来表示。杨氏矩阵示例(1):1 3 7 8 2 3 8 9 4 5 9 11 5 6 10 12 这里有一个需要注意的地方,每行的递增和每列的递增,并不能保证跨行情况下的右边数字一定大于左边

2020-11-09 20:50:52 46 4

原创 docker&k8s-私有仓库和增加web管理端

二 breezes安装配置git地址:https://gitee.com/kbsonlong/BreezesDockerfile内容老问题,网上一堆资料,2018年左右的还可以理解,但2020年的文章居然还是抄袭以前的内容,就真的很佩服是怎么通过的了。最大的问题在于,提到from centos的,就避不开目前的centos是8.x版本,这个版本下两个问题,1:默认python3,2:默认的后续下载安装都是基于python 2.7的,直接使用python3 pip一定会报找不到部分mo...

2020-06-22 11:10:41 103

原创 Docker&k8s - 创建pod

一 创建pod命令vi test.yaml输入内容:apiVersion: v1kind: Podmetadata: name: command-demo labels: purpose: demonstrate-commandspec: containers: - name: command-demo-container image: debian command: ["printenv"] args: ["HOSTNAME", "...

2020-06-07 10:31:40 103

原创 Docker-mac下环境搭建

1、下载docker并安装https://hub.docker.com/editions/community/docker-ce-desktop-mac截至发文时,本机安装版本信息:2、安装 Kubernetes3、启动docker 和 Kubernetes这里也是出现问题最多的地方,网上有多篇文档,但大部分不可用或已失效。尤其是挂代理的方案。采用github的一个方案,验证可用。git clone https://github.com/AliyunContainerServi.

2020-06-05 15:38:37 72

原创 同步mysql的binlog数据实践

1、开启mysql的binlog[mysqld] 下增加配置内容:[mysqld] log-bin=/usr/local/var/mysql/logs/mysql-bin.logexpire-logs-days = 14max-binlog-size = 1024Mserver-id=12、部署canal,安装文件:3、canal配置、启动4、编写canal客户端...

2020-04-05 03:15:29 61

原创 Java基础问题系列-同步之Synchronized关键字

一个问题,有简单的类如下,有一个静态synchronized方法,两个非静态synchronized方法,这个类的两个对象(实例):A,B,那么以下几种情况中,那种组合的方法执行会发生互斥(锁竞争)?1、SyncTest.method1,A.method1;2、A.method2, B.method2;3、SyncTest.method1,A.method2;4、A.method2,A.met...

2020-01-12 11:03:52 37

原创 CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为: hadoop 2.9.2, hive 2.3.6;操作系统:centos 3.10.0-957.1.3.el7.x86_64但安装步骤与原文相同,可直接参考。操作实录:1、hive中建立数据库后,会在hdfs中出现对象的库名.db...

2019-09-24 23:57:43 388

原创 robots、404与Spider

1、问题来源问题始于线上的某次报警。如下图,可见发生了404错误,而REQUESTPATH是robots.txt,一个系统中不存在的路由。从命名上可以隐约猜出与爬虫有关,BROWSER:"Robot/Spider"也一定程度说明了这点。下一个问题,怎么确认?是谁在做抓取动作?原因又是什么?2、分析过程还记得linux系统的nslookup命令,可以通过外网ip查找对应的域名,执行如...

2019-07-16 00:36:42 67

转载 【转】Innodb_io_capacity 对于IO稳定性的一些研究

原文地址:https://www.cnblogs.com/cenalulu/p/3272606.html作者:cenalulu-卢钧轶 背景:最近在做一台线上服务器IO负载情况的时候发现了以下现象:24小时的IO_UTIL 的曲线看似风平浪静,毛刺较少但当图片放大到半小时级别的时候发现IO_UTIL即磁盘使用率出现了规律性的波动,见下图:本文就将从这个现象触发,探究出...

2018-12-27 10:27:34 380 2

转载 【转】laravel框架中队列的用法介绍

文章来源于php中文网:http://www.php.cn/phpkj/laravel/409132.html本篇文章给大家带来的内容是关于laravel框架中队列的用法介绍(附代码) ,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 在实际的项目开发中,我们经常会遇到需要轻量级队列的情形,例如发短信、发邮件等,这些任务不足以使用 kafka、RabbitMQ 等重量级...

2018-12-08 15:17:30 118

原创 Ubuntu16.04 Mysql离线安装

参考文章:https://www.cnblogs.com/tabCtrlShift/p/6564002.html某部署环境,因网络限制无法直接访问外网,所以只能手动下载安装包方式进行mysql安装。参考文章中仍有使用apt-get命令安装依赖的部分,所以补充部分缺失依赖的离线安装过程。操作系统版本:No LSB modules are available.Distributor I...

2018-06-14 18:29:31 8764 5

转载 Spark Streaming和Storm选型[转自知乎,仅作备份]

原文网址:https://www.zhihu.com/question/29092950Carey Tzou的回答。如有转载请著名版权。作者:Carey Tzou链接:https://www.zhihu.com/question/29092950/answer/131543255来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。先上图,这是一年前技术选型时做的一个对比表...

2018-02-27 09:38:30 708

原创 mac文件检索工具[Find Any File]

之前在windows习惯了使用文件/目录检索神器:everything,能够不必全盘扫描搜索任意文件或目录,一直想在mac下找到一款类似的产品,不过了解过everything的搜索原理后,发现显然是不可能有能够匹敌everything的神器了。不过能有一个方便的搜索工具也是不错,毕竟每次都在命令行里搜索效率还是太慢了些。最近找到了这个名为Find Any File的软件,使用了下,效果还可以。

2018-01-13 18:47:57 3198

原创 hadoop、hive常见问题及解决方式

1、hive查询卡死现象:执行hive查询时,迟迟不能出现map-reduce任务进度原因:空间不足导致,清理掉无用的文件,释放出空间即可。通常建议剩余空间为查询数据的两倍2、hdfs使用空间超出实际占用空间现象:通过hdfs dfs-du-h/命令查看到各个目录所占的空间原因:因为删除操作,大量的垃圾文件堆积在/user/root/.Trash ,这个

2018-01-03 13:18:39 837

转载 Spark问题笔记

1、window系统上开发,使用winutil.exe报错问题在Intellij idea上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BII

2017-12-16 22:14:31 174

原创 linux【redhat&ubuntu】下ffmpeg-3.1安装编译及视频转码

原文网址:https://www.cnblogs.com/miaosha5s/p/7670447.html# wget http://www.ffmpeg.org/releases/ffmpeg-3.1.tar.gz# tar -zxvf ffmpeg-3.1.tar.gz# cd ffmpeg-3.1# ./configure --prefix=/usr/local/ffmpe

2017-11-21 18:16:58 660

转载 Python学习笔记(一)三步走安装pip

原文地址:http://www.cnblogs.com/NanShan2016/p/5518235.html  原作者:悠忘南山此文为备忘。尝试在windows下安装python相关工具,主要是pip。之前都是在linux系统下安装,比较容易,windows下,尤其是64位系统有些不同。简单搜索了下,发现还是这篇文章比较靠谱,按照要求即可快速安装。悠望南山

2017-11-02 11:00:59 210

原创 分布式架构下开发整理

======持续更新中======针对kafka、storm、mongodb集群1、intellij idea gradle项目开发gradle内dependences配置方法:http://mvnrepository.com/artifact/storm/storm上面页面中搜索框,搜索要引入的依赖名称,如storm,点击搜索后,会返回可以引入的storm

2017-10-28 18:24:45 152

原创 Mac下的zabbix安装

最近在搭建可视化监控平台,目前开源产品中最常使用的就是zabbix和nagios,所以就分别进行了测试环境下的搭建。遇到了很多问题,因此进行整理,作为后续备忘。系统版本:Darwin Kernel Version 16.6.0: Fri Apr 14 16:21:16 PDT 2017; root:xnu-3789.60.24~6/RELEASE_X86_64 x86_64安装

2017-10-18 18:55:17 3975

原创 navicat for Mac的备份【windows和Mac】

navicat for mysql提供了数据库备份功能,使用方式也比较简单,单击选中要备份的数据库,工具栏点击备份,在数据库下面就会出现备份栏,然后右键,创建备份即可。这里要提及的是navicat在windows和Mac两个版本下的一点不同:windows系统下,备份的文件是.psc的后缀,20171017104518.psc而Mac下是.pmb的,例如:20171017104518.

2017-10-17 10:55:28 2519 2

转载 TCP协议下的流量估算

GPRS流量计算方法(TCP/IP) 金笛子 2015-11-19 17:38:00流量统计方法:一、登陆网络,建立TCP链路PPP握手阶段大约要来回12~16个PPP握手包,每个包为30字节。30*16=480字节。TCP连接阶段:40×3=120字节注册:61+40=100字节总共统计一下,共约须700字节。统计的流量就是700*

2017-09-30 16:16:21 1905

原创 微软云Blob存储账号使用——Java使用

项目中使用了微软云提供的服务,包括虚机、存储、虚拟网络、存储账号等等。官网上有1元体验的服务,于是申请了一个账号进行了测试。本系列文章主要用于记录/学习和使用过程中遇到的一些问题和解决步骤,作为后续的技术储备和问题备忘。目前,非官方总结的文档数量和覆盖度还是不够高,所以目前还是只能依赖官网的文档进行使用和开发。好在相对还是比较完整的,尽管有些地方存在说明不够详细的情况。可以参考的文档主要有这两

2017-08-20 21:59:05 2218

原创 RHEL6配置yum源

问题背景:    起源于试图使用yum安装mongodb。原因是,通过安装包安装的时候,虚拟机中的系统,总是会提示各种依赖版本低于要求的提示,然后是无限的手动安装更新。。。所以无奈,只好使用yum来进行安装。但redhat系统中yum,搜索不到软件,后查知需要配置yum源。再然后,就是找了一大堆不靠谱的文章,各种尝试失败,最后总算有个准确一些的文章,中间又自行处理了一个错误,所以这里作为记

2017-07-24 00:37:03 8577

原创 mongodb关键指标查看及常规统计命令

整理本次mongo集群的分析过程参考文章地址:https://my.oschina.net/taisha/blog/1229891. 获取mongoDB中数据库的大小命令use databasenamedb.stats()显示信息如下> db.stats(){ "collections" : 3, "objects" : 80614, "dataSize" : 2106

2017-07-20 14:08:11 645

原创 Mac下安装php的mongodb扩展

背景:使用mac中已经自带的php,而默认情况下是没有mongodb扩展的,所以还无法使用php脚本访问mongodb已经安装了brew,这个是mac下非常好用的一个安装软件的工具,类似于ubuntu下的apt-get,rpm等,直接使用brew search 或brew install就可以安装所需的工具。通过brew search mongo,查到下列相关软件:

2017-07-17 09:03:07 8159

转载 MAC下,使用brew安装软件时总提示更新问题

问题源于,在mac下使用brew安装gradle时,发现一直卡在brew upgrade这一步,导致本来只是想装个软件而已,结果每次都会执行一次brew的update。查询后,在这篇帖子中找到解决方法:export HOMEBREW_NO_AUTO_UPDATE=true   禁止自动更新。原帖地址:https://www.v2ex.com/t/330580

2017-06-21 17:43:59 685

原创 redis相关知识点整理

一 redis同步http://www.cnblogs.com/CHEUNGKAMING/p/4831781.html二 事务与锁http://blog.csdn.net/liu20111590/article/details/52840795http://blog.csdn.net/ugg/article/details/41894947

2017-06-07 10:07:24 333

原创 部分开放数据接口汇总【持续更新中】

一 股票数据1、新浪实时股票数据接口 地址:http://hq.sinajs.cn/list=sh601006得知来源:http://blog.csdn.net/simon803/article/details/7784682数据格式:var hq_str_sh601006="大秦铁路,8.200,8.230,8.040,8.210,8.010,8.030,8.04

2017-06-06 18:04:33 603

原创 Mac下hadoop,hive, hbase,spark单机环境搭建

最近在用mac笔记本搭建hadoop+hive+spark的测试环境,中间遇到不少问题,所以,记录一下,希望以后不会再犯。也可供参考。之前在linux虚机下从wget软件包开始搭建过一次环境,mac下则是使用brew来进行快速安装的。不得不说,用brew后方便很多。一 hadoop安装:大家可以参考https://www.cnblogs.com/davidgu/p/617919

2017-05-22 23:37:14 4607

原创 京东算法大赛-高潜用户购买意向预测(二)策略迭代

上一篇中介绍了以为热心参赛者的代码和流程。这篇将记录自己的策略更新过程。一 数据特征统计分析几个主要的点:(1)各类行为与转化(购买)之间的关联关系,包括浏览、加入购物车、关注(2)已购商品的复购率(3)性别与商品的关联程度二 特征提取包括用户特征,商品特征,和用户历史行为特征三 模型构建1、商品候选集确认 - 用户&相关商品,不应该是整

2017-04-14 11:47:27 7858 3

原创 京东算法大赛-高潜用户购买意向预测(一) 资料整理

初学者可以参考资料:https://github.com/daoliker/JData,这是一位热心的参赛者提供的一份入门程序,涵盖了数据清洗、数据(统计)分析、特征抽取、搭建模型、模型评估,这些机器学习通用的完整流程,对于初学者来说值得参考。

2017-04-11 11:10:26 21531 18

原创 Maven学习记录

1、maven简单项目创建最简单的demo开始,eclipse中,file-->new-->maven project,创建simple project创建之后报错,问题为:Could not calculate build plan: Failure to transfer org.apache.maven.plugins:maven-surefire-plugin。。。问题解决方法

2017-02-19 23:31:28 569

原创 Thrift学习笔记

参考文章 IBMDeveloper works网址:http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/文章标题:Apache Thrift - 可伸缩的跨语言服务开发框架Thrift定义:Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。可知是与Webservice 【基于SO

2016-06-21 20:02:51 458

原创 最大正向匹配算法 PHP实现

字符串最大正向匹配算法说明可以参考其他文章,这里只做实现。三个参数:查询词 $query,词典$dict,最大长度,这里设置为15词典示例:$dict = array( '测试字符'=>'测试字符', '测试'=>'测试',)public function extractWords($query,$dict,$max_len=15){ $feature =

2016-03-25 18:02:48 1486

原创 java读写Mysql数据库乱码

写代码又遇到了万恶的中文乱码问题,比较奇怪的是server上已有的代码,在链接时通过"useUnicode=true&characterEncoding=gbk"转码后无乱码,但在本机上使用同样的代码读写得到的确实中文乱码。数据库是远程server,环境不能改动,在网上搜到的大部分方法都是抄来抄去且不能解决实际问题的方法。所幸搜了半天还是找到了一个。查看server数据库编码,执行sql:“ sh

2015-06-26 23:12:14 2102

原创 一点吐槽

真心希望抄袭别人文章的老兄们能抄的完整一点。。。最好标上原文地址。。。弄一段不完整各种错误的代码贴上去真的好么?

2015-06-08 16:54:15 371

转载 jQuery.form.js进行表单提交,中文乱码问题及解决

原文网址:http://www.verydemo.com/demo_c89_i26079.html源于使用jquery,form.js进行表单提交时,发现保存到数据库时失败,而页面都已经统一为GBK编码;在网上搜了一些答案大部分都是复制粘贴,并不能解决文章内容如下:目前处理一个项目需要使用到jquery的form插件进行jsp页面中的form异步提交

2015-04-23 12:51:33 5576

转载 Linux下端口被占用解决

原文网址:http://www.cnblogs.com/hnrainll/archive/2011/10/10/2205868.html有时候关闭软件后,后台进程死掉,导致端口被占用。下面以JBoss端口8083被占用为例,列出详细解决过程。解决方法:1.查找被占用的端口netstat -tln  netstat -tln | grep 8083

2015-04-22 15:40:35 418

转载 天气预报api

天气预报接口:比较全的 天气API接口大全(nohacks.cn 收集整理) http://www.nohacks.cn/post-35.htmlandroid里使用webservice调用接口的方法http://blog.csdn.net/xiaanming/article/details/16871117这里调用了天气接口:http://www.webx

2015-04-19 23:09:53 561

转载 Java中request获取IP(转自推酷)

原文网址:来自推酷 - http://www.tuicool.com/articles/Nfmyqy其基本逻辑为先取得配置的IP列表,然后通过request.getRemoteAddr()取得客户端的IP地址,做鉴权和校验,逻辑没问题,那么肯定是request.getRemoteAddr()出了问题,google下,发现有人遇到类似的问题。最终定位为request.ge

2015-03-03 11:26:57 513

android获取网页源码

android下一个获取制定url的一个页面源代码的例子简单例子,因为找了几个都无法正常运行。源码获取部分代码来源于http://blog.csdn.net/honglei_zh/article/details/8537394

2014-08-21

SEO实战密码

SEO实战密码,一本很不错的搜索相关的书,有时间可以了解下

2012-05-26

karate 空手道俱乐部数据集

数据挖掘、社会网络分析常用的一个数据集,美国空手道俱乐部,用于验证社区挖掘算法有效性的常用数据集之一。

2011-11-13

网络渗透技术

网络渗透技术,很好的学习材料。需要用超星打开,pdg格式的文件

2011-11-14

linux常用系统命令

linux常用系统命令及使用详解:包含了大部分linux经常会用到的基本命令

2011-11-05

Postman-osx-7.12.0.zip

postman的mac版,方便大家快速找到可用资源。时一个zip包,下载后,解压。然后双击启动使用即可。

2019-12-31

阿里中台资料汇总.pptx

阿里中台资料整理,来自脉脉,包括阿里业务中台架构图、产品形态、全局架构,中台架构图等等,仅用于学习分享,请勿用于商业场景。

2019-08-11

navicat破解工具

navicat破解工具,亲测有效。需要安装破解包里的navicat版本,然后对这个版本的navicat.exe执行破解。其他版本可能无法正确破解。这点需要注意下。

2018-09-11

windows下jd-gui绿色版,无需安装,可查看jar包源码

window下反编译工具,免安装版。安装版1.40有对jdk版本的要求,这个不必,直接下载解压就可以使用

2018-08-02

RHEL 6 zabbix安装文档

redhat或centos下的zabbix安装和初步配置实践文档,可供大家参考。内附参考文档链接和具体步骤

2018-02-28

mac下文件搜索工具[Find Any FIle]

macos下的图形搜索工具,占用空间下,不必每次都使用命令行进行搜索了~感觉还是有些作用的

2018-01-13

[Mac远程桌面连接工具]MicrosoftRemoteDesktop

Mac'下连接远程桌面的工具,可以直接连windows。确认可用,无需破解

2017-12-09

OmniDiskSweeper.dmg

Mac下的空间管理工具,可以在图形化界面中进行文件删除,占用大小查看等等

2017-10-25

CleanWipeV14(赛门铁克卸载工具)

自己的电脑因为某些原因安装了Symantec,并且封掉了U盘接口,非常不方便,而且普通的进程删除手段也无法奏效。最后找到了这个,方便执行卸载。

2017-10-22

【mac版】navicat for mysql

Mac下的navicat for mysql,可视化连接本地/远程数据库的工具

2017-10-17

微软云Java API操作示例

微软云Java API操作示例,之前传的工程有问题。。示例代码丢了;所以重新上传了资源。。。供大家参考使用。

2017-09-05

微软云Blob存储Java操作示例代码

利用微软云的javaAPI,操作存储账号的container内容,包括创建,删除,上传资源,获取资源列表,删除指定资源操作

2017-08-20

微软云Blob存储java开发所需的jar包

微软云Blob存储java开发所需的jar包

2017-08-20

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除