zipkin2 应用trace

zipkin作为简易的应用trace工具,适合小微型应用使用,2X和1X发生了重大变化,下面讲解下如何高效利用2X: 首先启动zipkin-server,可以通过jar包启动,2X已经不在推跟随SpringApplication启动的方式了,所以用法要特别注意下。 首先必须单独建立应用,不能和...

2019-05-16 18:39:04

阅读数 48

评论数 0

Spring Cloud Config 踩坑记

Spring Config 为我们处理配置中心问题带来了极大的方便,不过由于spring对config的封装很“过度”,所以如果遇上问题都会很头疼,那么这里把几个我遇到的坑在这里简单的为大家叙述下: 首先项目大体一般需要四个: config-server config-client con...

2019-05-12 15:17:46

阅读数 13

评论数 0

Spring Cloud 2 使用 starter-stream-kafka

spring-cloud-starter-stream-kafka 2.X的配置很少有被讲到,但这又是springcloud架构中很重要的一块,这里做一下介绍使用,抛砖引玉。 关于新的配置项可以查询m2文件夹下的路劲: .m2\repository\org\springframework\boo...

2019-05-09 12:01:13

阅读数 7

评论数 0

关于PyQt5中PyQtWebEngine的最新使用

大家知道 用Python做爬虫如遇动态渲染javascript则需要一些框架如PyQt,然而PyQt5 相比4做了很大的改动,似乎难用了许多,没有了findAllElements方法,无法直接查找元素,用lxml加载之后又与原文档失去了关联,那么该如何动态修改页面元素呢?下面给出了我的改进用法,希...

2019-04-14 17:29:20

阅读数 118

评论数 0

矩阵“特征值”要表示什么“特征”

从很多年前接触到“特征值”这个词开始,我就一直有个疑问没搞明白,为啥矩阵 “特征值”和“特征向量”中的“特征”,与我们日常理解的、一般口语中的“特征”差异怎么就那么大呢?! 比方说张飞的“特征”是高大,黑,大胡子……,但矩阵的“特征值”却是:设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax...

2019-04-11 15:34:26

阅读数 77

评论数 0

Spark数据类型SparseMatrix

SparseMatrix Spark的mllib包中提供了机器学习的两种基本数据类型: DenseMatrix(稠密)和 SparseMatrix(稀疏),在初始化对象的时候可以使用Matrices伴生对象产生,先看下示例代码: import org.apache.spark.mllib.lin...

2019-04-09 14:20:44

阅读数 13

评论数 0

Spark启动时的master参数以及Spark的部署方式了解一下

我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下: conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) ...

2019-04-02 11:31:46

阅读数 19

评论数 0

Python 异步操作

依赖的包: from pubsub import pub from threading import Thread 核心代码: class ScrapeThread(Thread): def __init__(self, event): # 线程实例化时立即启动 ...

2019-04-01 15:53:11

阅读数 12

评论数 0

新Spark MLlib库读取recommend结果值

改成新 org.apache.spark.ml包(未来mllib包将不再使用,现已不再更新),很多人都会困惑如何读取预测的结果集,这里来讲解下: 比如: ALSModel训练后 抓取里面的每个用户最喜欢的前10个品类 model.recommendForAllUsers(10) 返回...

2019-04-01 14:34:33

阅读数 21

评论数 0

【Scala】使用Option、Some、None,避免使用null

避免null使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”,在Java,它是null。在Java 里,null 是一个关键字,不是一个对象,所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢...

2019-04-01 11:18:26

阅读数 10

评论数 0

kafka最常用命令清单

一、confluent相关启动 1、启动confluent: ./schema-registry-start -daemon ./etc/schema-registry/schema-registry.properties 1 -daemon的目的是为了后台运行,且能保证日志输出。 输出日志的路径...

2019-01-29 14:34:03

阅读数 44

评论数 0

Nginx负载均衡的详细配置及使用案例详解

感谢看过这一些列博文和评论的小伙伴, 我把自己所看到的学到的拿到这里来分享是想和大家一起学习进步, 想听听园友给出的意见, 也是对自己学习过程的一个总结. 技术无止境, 我们仍需努力!1,话不多说, 这里我们来说下很重要的负载均衡, 那么什么是负载均衡呢?  由于目前现有网络的各个核心部分随着业...

2019-01-18 17:21:23

阅读数 45

评论数 0

Elasticsearch Java API四种实现方式

0、题记 之前Elasticsearch的应用比较多,但大多集中在关系型、非关系型数据库与Elasticsearch之间的同步。以上内容完成了Elasticsearch所需要的基础数据量的供给。但想要在海量的数据中找到和自己相关的业务数据,实现对已有的数据实现全文检索、分类统计等功能并应用到业务...

2019-01-12 00:19:30

阅读数 46

评论数 0

Hadoop, HBase, Hive, ZooKeeper默认端口说明

Hadoop, HBase, Hive, ZooKeeper默认端口说明 组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输   ...

2018-12-05 18:39:06

阅读数 51

评论数 0

解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

首先 对于操作的目的文件夹权限做检查,如没有则: hadoop fs -chmod -R a+rwx /tmp/hadoop-yarn/staging 其次把这个文件包括进来,可以从hadoop源码包里面找,本文也附下载 其中access方法做了如下修改: public static b...

2018-12-04 11:39:59

阅读数 103

评论数 0

hadoop项目打包的两种方法

一. IDEA 打包 1.右击项目名称,选择Open Module Settings 2.选择Artifacts,点击中间绿色的+号,选择JAR,再选择第二个选项 3.点击Main Class右边的小方块选择主类,下一个选项如果要打成一个压缩包选择第一个,如果其他依赖包要分开放也就是最后...

2018-11-30 11:31:49

阅读数 246

评论数 0

MySql学习(七) —— 查询性能优化 深入理解MySql如何执行查询

目录 一、基本原则:优化数据访问 二、重构查询 三、MySql如何优化和执行查询 四、MySql能处理的一些优化类型 五、联接查询 六、优化特定类型的查询 七、查询优化提示     本篇深入了解查询优化和服务器的内部机制,了解MySql如何执行特定查询,从中也可以知道如何更改查询...

2018-11-22 10:55:31

阅读数 29

评论数 0

MySql学习(六) —— 数据库优化理论(二) —— 查询优化技术

目录 一、子查询优化 二、视图重写 三、等价谓词重写 四、条件化简(条件优化技术)   1.条件下推   2.条件化简 五、外连接消除、嵌套连接消除、连接消除  六、数据库的约束规则与语义优化 七、非SPJ优化 八、物理查询优化 九、MySql索引的优化、利用    ...

2018-11-22 10:54:48

阅读数 18

评论数 0

MySql学习(五) —— 数据库优化理论篇(一)

目录 一、数据库管理系统 二、数据库调优 三、查询优化 四、逻辑查询优化        回到顶部 一、数据库管理系统 数据库管理系统(Database Management System, DBMS) 衡量是否是数据库的标准:  ACID:是指在数据库管理系统(DBMS)中事...

2018-11-22 10:54:02

阅读数 18

评论数 0

MySql学习(四) —— 函数、视图

目录 一、函数 1. 数学函数 2. 聚合函数(常用于group by从句的select查询中) 3. 字符串函数 4. 日期时间函数 5. 加密函数 6. 流程控制函数 7 系统信息函数 二、视图(view)   注:该MySql系列博客仅为个人学习笔记。 ...

2018-11-22 10:53:16

阅读数 21

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭