- 博客(15)
- 资源 (4)
- 收藏
- 关注
原创 kibana通过nginx添加账号密码验证
参考连接:https://www.cnblogs.com/configure/p/7607302.html1. kibana自身是没有安全验证的,所以账号密码的验证通过nginx实现2. 实现过程2.1 安装nginx:yum -y install nginx不知道为什么,很多参考资料说yum安装的启动命令默认路径在:/usr/local/nginx/sbin我的是:启动命令路径:/usr/sbin/nginx 暗转路径是:/etc/nginx配置文件地址:/etc/ngi.
2020-12-15 17:47:21 572
原创 mac安装iterm2完成与linux的链接
作为苹果电脑新手,看别人链接linux用的大部分都是iterm2,也就选择这个,先下记录过程的中的坑注:使用本文第一种连接远程服务器的方式,rz sz命令会失效,原因不明,建议使用第二种参考文章链接:https://www.sunjs.com/article/detail/7891c859e64b4ec6a40a5cb672ba6d43.html1. 官网下载 地址:https:/...
2019-07-24 11:25:44 980
原创 微信JS-SDK——invalid signature 填坑
项目调用微信JS-SDK接口主要是为了可以分享自定义的页面。直接说在看文档开发过程中的坑,文档中有的就简略了。1. 获得JsapiTicket直接携带token访问接口即可。2. 时间戳的获取,在微信的sha1加密测试页面,时间戳的长度为10个数字,但是超过10个数字时,代码也不报错,为了避免踩坑,的我的时间戳是这样的String timestamp = new SimpleDateFormat(...
2018-06-04 18:08:41 1992
原创 flume日志采集环境搭建,单机版
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flumey由source,channel,sink三个组件组成。source:监听的数据源,包含console(控制台)、RPC(Thrift-RPC)、text...
2018-05-22 16:56:42 356
原创 spark初学(四)- 连接数据库汇总
连接的数据库为mongo:private SparkSession sparkSession() { StringBuffer mongoUrl = new StringBuffer("mongodb://" + username + ":" + password + "@"); String[] url = urls.split(","); for...
2018-05-22 16:00:29 397
原创 Spark初学(三)- StreamingContext - 日志解析
spark进行日志解析有两种方式:一、flume(日志采集)将采集到的日志保存到硬盘的日志文件中,spark每隔一段时间汇总分析一次(我们在用的是这种方式,每一个小时通过自定义的sink生成一个日志文件,spark的汇总每隔一个小时被调用一次,汇总上个小时采集的日志)。二、flume将采集到的日志保存在内存中,spark通过流每隔几秒获取一次内存中数据,汇总分析保存。第二种实现: SparkCon...
2018-05-22 15:52:46 2325
原创 Saprk初学(二)- 应用-日志解析
应用环境,项目需要解析日志,通过flume读取不同服务器上的日志并进行初步的过滤(可通过配置完成),由masterFlume将读取到的日志汇总到硬盘的某个文件中,有spark解析日志,并进行汇总。将汇总结果保存到mongo数据库。...
2018-05-22 13:59:38 309
转载 spark 初学(一) - 原理
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。优点:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍,甚至能够将应用在磁盘上的运行速度提升10倍使用情景:1 数据量大 2 计算复杂spark的...
2018-05-17 14:24:41 382
原创 SpringBoot初学汇总
SpringBoot基于Spring的项目搭建框架,相较于Spring简化了配置而已SpringBoot的核心: 自动配置:针对很多Spring应用程序常见的应用功能,Spring Boot能自动提供相关配置 起步依赖:告诉Spring Boot需要什么功能,它就能引入需要的库。 命令行界面:这是Spring Boot的可选特性,借此你只需写代码就能完成完整的应用程序,无需传统项...
2018-05-11 13:58:07 358
原创 微信第三方平台开发中遇到的问题总结---java
1.微信第三方平台的开发文档,授权流程中在第三步和第四步之间,还有一步获得预授权码后,调用接口,进入到二维码页面,用户扫描后,微信服务会调用我们设置好的回调接口,并推送回授权码2.我们的项目在正式发布之后,一直获得不到微信的ticket的推送,是因为我们的项目有设置,https的请求优先,而我们在微信第三方实体上设置的接口推送请求为http请求方式是可以修改的
2017-07-14 08:43:32 4931 1
原创 微信第三方平台授权流程- java
1. 微信第三方平台的开发,第一步就是公众号的授权,授权成功后第三方凭条才能利用公众号的appid和token获得公众账号额信息,并代替公众账号完成一些功能。 2. 授权的流程,理论图代码流程,1》 首先在微信开放平台的官网进行微信第三方平台的开发认证2》认证通过后,在微信开放平台创建第三方平台的实体,创建完成后才能有对应的appid和secret,用于开发3》微信服务项第
2017-06-26 14:17:39 6327 21
原创 阿里MQ使用经验
简单介绍MQ(消息队列):主要用于项目间的异步通讯名词:提供者:异步通讯消息的提供者,发布消息。消费者,异步通讯消息的消费者。 发布与订阅、点对点:提供者与消费者的订阅模式,详情可看阿里官网文档使用MQ的步骤: 1. 在阿里的管理控制台>topic管理中发布topic 2. 在topic的管理页面申请发布,创建提供者id,一个topic只能对应一个提
2017-05-19 18:02:09 4763
原创 dubbo与zookeeper交互-3
总结:dubbo-admin是dubbo的管理系统,它在启动时会解析xml文件,获得zookeeper的地址,并创建zookeeper的客户端ZookeeperRegistry,库护短通过url与ZkclientZookeeperTransporter去连接注册中心,在调用spring管理的实例RegistryServerSync,监听所有的服务,当注册中心的服务有变化时,注册中心会通过Regis
2017-05-18 09:19:21 889
原创 dubbo与zookeeper的交互-2
大致了解dubbo中定义的类的大概作用,手动编写了一个小项目,用于获取zookeeper注册中心的服务信息:1.导入dubbo-admin里的全部jar包2.从dubbo-admin中复制一部分会用到的类:URL(路径的实体类)、RegistryServerSync(存储注册中心信息的类)、SyncUtils(缓存工具类)、Pair(dubbo自定义的结合类Map的子类)、dubbo-ad
2017-05-12 10:02:17 585
原创 dubbo与zookeeper的交互-1
dubbo-admin学习总结:1.dubbo能从zookeeper注册中心获得服务信息,是通过registryService,并且可以通过registryService对dubbo进行操作2. 详解:与服务注册相关的类:RegistryService:顶层接口 Registry:接口,继承顶层接口 与Node接口(暂不知何用)AbstractRegistry:抽象类,实现
2017-05-10 15:00:34 3116
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人