自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

astra_zhao的专栏

专注基于高并发,高可用,云计算,大数据,区块链的SaaS平台

  • 博客(168)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Spark机器学习(二)数学基础(下)

9.矩阵 F 域中的矩阵是指由 F 域中的元素构成的二维数组。比如实数域中的一个矩阵可为: 1 2 3 10 20 30 上述矩阵有 2 行 3 列,被称为 2×3 矩阵。人们通常用数字来指代行和列。行 1 是(1 2 3),行 2 是(10 20 30);列 1 是(1 10),列 2 是(2 20),列 3 是(3 30)。通常,一个 m 行 n 列的矩阵称为 m×n 矩阵。对于给定矩阵 A,其元素(i, j)定义为第 i 行第 j 列的元素,并通过 Ai,j或 Aij来表示。 后续内容

2020-11-21 16:00:48 51

原创 Spark机器学习(二)数学基础(上)

域是数学中以不同形式定义的基本结构。下面会介绍一些常见的基本类型。 1. 实数 实数包含我们所能想到的任意数字。它包括整数(0、1、2、3)、有理数(2/6、0.768、0.222...、 3.4)和无理数(π、3 的平方根)。实数可以是正数、负数或 0。虚数则是另一种数,比如1 的平 方根。注意,极数(无穷大或无穷小)不是实数。 无理数与有理数的区别:1、把有理数和无理数都du写成zhi小数形式时,有dao理数能写成有限小数和无限循环小数,比如4=4.0, 4/5=0.8,...

2020-11-18 12:17:05 45

原创 Spark机器学习(一)Idea的sbt环境搭建

1.安装SBT 单击这里下载 SBT 1.4.0,下载完成后解压到指定目录,例如 D:\spark\sbt-1.4.0,然后将 D:\spark\sbt-1.4.0\bin 添加至环境变量PATH。SBT 1.4.0 采用 Coursier 以无锁的方式并行下载依赖,最后使用#>sbt -version查看是否安装正确2.Idea安装SBT环境...

2020-11-17 14:44:00 21

原创 大数据学习整理篇(十三)Ubuntu16.04安装jupyter notebook使用以及安装可以在notebook运行的R语言

1.Jupyter notebook的安装省略(请使用pip3安装)1.2Jupyter notebook运行在shell命令下运行jupyter notebook --ip=0.0.0.0 --no-browser --allow-root &通过运行后带有token序列号,即可访问2.安装R语言1、Ubuntu添加最新的镜像地址将deb https://cloud.r-project.org/bin/linux/ubuntu xenial-cran35/添加到 /

2020-10-31 18:17:36 47

原创 大数据学习整理篇(十二)spark和Hbase在Docker不同主机环境下的简单应用

由于在Docker下部署的hbase目前都是伪分布式的部署,所以后续想整理下,看如何部署多机环境下的分布式部署在使用Docker环境的spark和Hbase的时候出现了下面几个问题,特意补充说明下:1.spark和hbase分别部署在其他机器上说明如下:spark部署在192.168.*.215上,spark运行的虚机是172.20.0.0/24网段,Hbase部署在192.168.*.216机器上,Hbase虚机是172.20.0.0/24网段这样通过在215机器上,添加路由:rout

2020-10-29 12:30:12 24

原创 大数据学习整理篇(十一)spark和Hbase大数据Docker文件的迁移(成功版)

我们用Docker搭建测试环境,有时候为了方便,需要做下环境迁移,网上资料查了一下,发现很多文章都没有介绍清楚,于是特地写了这篇文章: 整个场景说明如下:192.168.*.102机器上安装了Spark,Hbase的环境,现在需要一模一样的迁移到192.168.*。101机器。一、Spark的Docker环境迁移首先我们将源机的Spark Docker停止docker stop <容器ID>...

2020-09-21 11:07:39 34

原创 深入浅出Rust(一),在VSCode下调试Rust

本文主题是贯彻Rust从基本服务器的应用到web开发一系列文章,会汇集很多文章的一些写的好的地方,去除一些挖坑的地方,深入浅出先从语法开始说起,具体请看Rust菜鸟教程。https://www.runoob.com/rust/rust-tutorial.html文章第三章【Cargo 教程】有一段没有描述清楚,特此补充一下。运行调试的时候,需要安装C++ 调试插件,具体如下图所示:安装完插件后,即可进行调试。注意一定要重新打开文章说的greeting文件夹,否则会有很多问题出现...

2020-09-16 15:14:17 52

原创 大数据学习整理篇(十)大数据应用场景和展现方式整理

根据目前比较通用的大数据应用场景,做了如下整理和分析,具体算法,请自行百度:应用场景 算法大类 具体算法 展现方式 会员画像,会员细分 聚类模型 KMeans聚类 饼状图,柱状图 话务咨询预测,话务咨询预警 回归模型 线性回归 柱状图 IVR分析,功能埋点分析 关联分析 Apriori算法 关系图 IVR分析 FP-growth算法 关系图 功能埋点 会员兴趣...

2020-09-04 11:23:05 37

原创 大数据学习整理篇(九)idea创建可以使用scala和java在spark运行的示例

1.新建Java的maven工程后续把groupid和artifactid和版本定义好就行2.定义pom文件,添加具体jar包 请查看上篇文章整理篇(八)https://blog.csdn.net/penker_zhao/article/details/108361732 scala需要增加新的打包文件,加入到pom文件,具体如下: <plugin> <groupId>org.scala-tools</gro...

2020-09-02 15:10:27 52

原创 大数据学习整理篇(七)Linux下使用Docker搭建Spark多节点,Phoenix单机版,然后使用Spark访问Phoenix(java示例成功版)

我们的大数据平台之前定义的步骤就是,使用ETL工具从关系型数据库抽取到HBase,然后通过Phoenix的二级索引,SQL关联查询,将大数据需要学习的训练集以及验证集提供给spark,调用spark ml的机器学习类库,做相应的算法分析,比如线性回归算法和决策树算法等等,最后生成临时表到phnenix的,使用zeppelin将数据展示出来,整个大数据平台的思路就是这样。 下面我们按照步骤逐一展开:1.搭建Docker的单机版phoenix和hbase(生产环境建议使用集群...

2020-09-02 14:34:56 83

原创 大数据学习整理篇(八)Zeppelin连接Spark

Zeppelin单独1.5g的版本自带了Spark,所以可以使用local方式直接连接自带的spark。然后可以嵌入scala语言,进行数据统计,如下图所示:新建一个note,Interpreter选择spark可以将下列语句直接带入到一个paragraph中,如下图所示:下面的代码来自(https://blog.csdn.net/majianxiong_lzu/article/details/89761187)import org.apache.common...

2020-09-01 17:31:47 88

原创 大数据学习整理篇(六)CentOS 7.8搭建Zeppelin 0.9.0-preview2最新版,并使用phoenix访问hbase

基于项目中要使用Spark的原因,所以使用Zeppelin使用Spark ML,并进行数据展示是比较好的选择,在搭建0.9.0的时候也解决了几个入坑问题,现在把具体情况说明下:1.首先下载最新的0.9.0-preview2版本下载1.5G的zeppelin-0.9.0-preview2-bin-all.tgz2.下载完后,使用tar -xzvf解压文件3.修改/etc/profile文件,最下面添加如下一句:export JAVA_TOOL_OPTIONS="-Dzep...

2020-08-24 15:27:45 88

原创 深度学习整理篇(一)扩充篇--------Ubuntu16.04单独安装pytorch

安装pytorch第一步git clone https://github.com/pytorch/pytorch第二步pip install -r requirements.txt(实质上这一步只需要安装pyyaml)第三步git submodule update --init

2020-08-18 19:08:38 49

原创 深度学习整理篇(四)Ubuntu 16.04 python3.5升级到3.7,同时将GTX 1060显卡升级到最新NVIDIA 450驱动和CUDA11.03驱动

Ubuntu 16.04默认安装python2.7.12和python3.5版本,为了深度学习的必要,将python3.5做好升级到python3.7准备,准备工作如下:一、python3.7升级第一步:增加ppa仓库:sudo add-apt-repository ppa:jonathonf/python-3.7第二步:更新sudo apt-get update第三步:安装python3.7sudo apt-get install python3.7期间有需要按Yes,调整P

2020-08-10 10:47:11 324

原创 深度学习整理篇(三)CentOS 7.8中python 3.7与python 2.7同时存在说明

今天心血来潮,Virtual Box安装了CentOS 7.8 最新min版,安装完后,除了设置最新的网卡设置外,vi /etc/sysconfig/network-scripts/ifcfg-e***根据你的网卡类型,修改ONBOOT=yes使用yum install net-tools,剩下的就是卸载python2.7了,结果一卸载就知道掉坑了,请看这篇文章描述坑-centOS7.2--》重装 python2.7和yum!(原因误删了python后,yum不能用了)https://w

2020-08-07 14:58:54 100

原创 大数据学习整理篇(五)Davinci-0.3.0-beta.9 release最新版安装,并支持HBase 2.0以上

使用Davinci的理由很简单,因为他支持通过phoenix来操作和展示HBase数据,提供海量数据的查询Davinci 是一个 DVaaS(Data Visualization as a Service)平台解决方案,面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用,也可作为可视化插件集成到三方系统。用户只需在可视化 UI 上简单配置即可服务多种数据可视化应用,并支持高级交互/行业分析/模式探索/社交智能等可视化功能。http

2020-08-04 14:20:16 94

原创 深度学习整理篇(二)语音分段和讲话人语音文件识别

1.语音分段具体安装工具请参考深度学习整理篇(一)我们采用了py_speech_seg做AB角对话分割 https://github.com/wblgers/py_speech_segA toolkit to implement segmentation on speech based on BIC and nerual network, such as BiLSTM分割完后,进行语音转文字,正确转文字如下截图:2.讲话人识别(识别这段话是谁讲的)安装Kaldi5.3版本..

2020-08-03 10:15:36 169

原创 大数据学习整理篇(四)SuperSet 0.36.0降级安装

在做大数据展现的时候,打算使用SuperSet进行数据展现,但是问题很多,不仅要降级处理,而且phoenix也不能使用,所以这篇文章只是记录如何正确安装SuperSet,但是不推荐使用,因为如果遇到需要使用phoenix连接HBase,则困难重重,获取新版本会有所突破。但那是以后的是,如果参考SuperSet使用手册,用最新的Docker方式进行安装,会报下面的错误。git clone https://github.com/apache/incubator-superset/cd incubator

2020-07-29 12:22:06 117

原创 深度学习整理篇(一)安装Python,Keras,Librosa,Numpy,Scipy

python>=3.6 tensorflow=1.13.1 keras=2.2.4 Librosa Numpy Scipy上述工具的安装都是先安装python,再使用pip3 install --tensorflow==版本号来完成,这里记录一次安装Librosa降级安装的过程。大概错误描述如下:librosa 没有"output"属性,这个时候,使用下面命令,进行降级安装pip3.6 install librosa==0.6.3有的时候再运行python程序的时候,numba

2020-07-29 11:04:51 199

原创 大数据学习整理篇(三)Ubuntu 16.04 Server版安装Kudu,Impala,Spark 2.3.4,以及Scala语言使用Spark RDD访问HBase

1.Kudu安装,先建议全部使用root安装在/etc/apt/sources.list.d目录下,先备份移除ambari-hdp1.list,以及其他HDP相关的仓库信息,再新增文件cloudera.list,内容如下# Packages for Cloudera's Distribution for Hadoop, Version 5, on Ubuntu 16.04 amd64 deb [arch=amd64] http://archive.cloudera.com/kudu

2020-07-21 12:56:18 55

原创 大数据学习整理篇(二)Ubuntu 16.04 Server版安装Hadoop单机,Hbase单机,Phoenix5.0以及squirrelsql-4.1.0客户端最新版

安装Hadoop1.安装Hadoop 2.7.7版本 解压命令:tar -xzvf hadoop-2.7.7.tar.gz,比如安装到opt目录下2.配置/etc/profile在/etc/profile内配置Hadoop安装路径,在结尾加上下列内容export HADOOP_HOME=/opt/hadoop-2.7.7export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin刷新配置文件:root@instance...

2020-07-13 11:21:15 80

原创 Ruoyi Vue版集成JFlowSpringBoot(成功版)

1.下载https://gitee.com/kikock/RuoYi-JFlow的源码,以及ruoyi-vue源码,ruoyi-jflow只是一个参考,因为他不是ruoyi-vue版2.修改WF/Comm/Gener.js.所有url增加从cookie里面获取Token,添加GetCookie函数,参考如下:$.ajax({ type: 'post', async: false, xhrFields

2020-07-06 10:37:37 456 2

原创 TensorFlow2.2 学习指南(一)--环境安装(在Thinkpad T系列笔记本安装TensorFlow 1.9.0)

本人笔记本是Thinkpad T470系列,默认显卡是Geforce 940MX,驱动程序默认支持CUDA9.0,而最新的TensorFlow 2.2需要支持CUDA10以上,具体环境安装如下:1.Python和pip安装省略(请自行搜索安装),建议Python 3.7.*以上2.升级最新的NVIDIA显卡驱动,要到thinkpad官网下载,我下载最新的支持CUDA10.1。3.https://developer.nvidia.com/cuda-toolkit-archive,下...

2020-06-30 18:17:29 105

原创 大数据学习整理篇(一)windows下R以及RStudio乱码问题以及Ubuntu 16.04下mahout 0.14.0 成功运行(成功版)

1.RStudio代码保存设置为UTF-82.打开Utf-8的文本验证下3.使用R语言的read.csv,要加上文本编码格式,比如:listing <- read.csv("D:\\listing-segmented-shuffled.txt", fileEncoding = "UTF-8",stringsAsFactors = FALSE, sep='\t')4.使用str(listing)可以看到是中文显示...

2020-06-17 18:15:51 122

原创 KubeSphere权威指南(二)--------使用KubeSphere创建Redis Cluster,RabbitMQ Cluster,MongoDB Replica Set,PXC并对外暴露端口

根据上篇指南(一),我们先创建Redis Cluster1.我们一样,在【项目】那里,新建【服务】-【有状态服务】,如下图所示:2.选择【容器镜像】3.进入【挂载存储】,【添加存储卷模板】4.最后进入【高级设置】,使用默认即可。5.暴露端口,在【服务】-【创建】-【制定工作负载】填写好基本信息,比如redis-cluster-expose-port,设置服务,如下图所示:6.暴露端口7.最后设置外网访问8.Percona-XtraDB-Clu.

2020-06-12 18:01:16 433 4

原创 基于windows Virtual Box的Ubuntu 16.04 Server版如何扩充硬盘空间(成功版)

用了40G的硬盘安装Ubuntu 16.04,这个用来安装k8s工具,却没有考虑到安装完后就已经占了50%了硬盘空间了,不多说了,直接进行硬盘扩充,却发现并不简单,网络上充斥着各种感觉不爽的方法。现在逐步一一整理。 1.首先找到Virtual Box(后续简称VB)的VDI镜像,使用VB自带工具VBoxManager 在windows上执行命令,扩充到100G #>VBoxManage modifyhd centos7.vdi --resize 100000...

2020-06-10 15:19:15 118

原创 记一次Oracle 11g 参数性能调优过程

我们正在做Oracle往MySQL数据库迁移,但在迁移之前,这一次是数据同步的Oracle出现性能故障,Oracle使用shutdown immediate以及数据导入都非常慢,通过8个小时的排查,完成了一次简短的性能调优。其中性能调优主要优化了下面几个参数: SGA_TARGET,SGA_MAX_SIZE 5000m db_cache_size,shared_pool_size=2000m pga_aggregate_target 1000m sort_...

2020-05-26 14:54:56 360

原创 KubeSphere权威指南(一)--------使用KubeSphere创建Percona Server,并对外暴露端口

为了加强公司的运维能力,这段时间也一直在了解Docker,Docker Compose,K8s的一些工具,了解了,包括腾讯的蓝鲸,齿骨鱼,Rainbond,wayne,为什么选择KubeSphere,因为它最简单,最容易入门,其他的个人感觉都没有kubesphere好用。 KubeSphere是在Kubernetes之上构建的以应用为中心的企业级分布式容器平台,提供简单易用的操作界面以及向导式操作方式,在降低用户使用容器调度平台学习成本的同时,极大减轻开发、测试、运维...

2020-05-21 17:01:27 181

原创 Ruoyi Vue前后端分离版本添加UReport设计器

1,在pom文件添加jar包<!--添加ureport设计器--><dependency> <groupId>com.bstek.ureport</groupId> <artifactId>ureport2-console</artifactId> <version>2.2.9</v...

2020-03-31 11:29:46 1702 10

原创 Rainbond 5.1学习指南-初始安装(一)

非CentOS 7.4安装(Unbuntu和Centos 7.5以上版本)安装遇到问题:Error:Unexected Exception. this is probably a bug: cannot import name is _collection_ref解决方法:yum remove ansible再yum install -y ansible最后碰到一个问题...

2020-03-25 11:43:40 105 1

原创 Spark-2.4.5官方文档说明-Ubuntu运行示例(二)

运行Quick Start的Java和Python示例运行Python示例Python示例的时候会报下面这个错,执行pyspark报错env: ‘python’: No such file or directory问题https://blog.csdn.net/qq_42881421/article/details/88069211运行下面的示例,如果使用spark-submit命...

2020-03-18 17:56:28 135 1

原创 基于Docker的Percona XtraDB Cluster(PXC)掉电无法正常启动的解决方法

1.使用Docker重新start容器ID后,可能会出现下面的错误Error response from daemon: container fd7f8a24df60aa60e5fcacfdd6c4f36456cff62d062fc26c8d5b427d76a200fe: endpoint join on GW Network failed: driver failed programming...

2020-03-03 11:08:13 158

原创 Spark-2.4.5官方文档说明(一)

具体文字请自己阅读https://spark.apache.org/docs/latest/index.html注意几点:1.先安装并解压spark-2.4.5-bin-hadoop2.7.tgz文件,使用命令#>tar -xzvf 文件名进行解压。在看后续的程序指南(Programming Guides)Where to Go from HereProgramming ...

2020-02-25 16:42:56 598

原创 Percona Server 5.7.29-32-log创建视图遇到的坑

使用Docker部署Percona Server 5.7环境,有一段时间了,基本没有什么问题。但是在创建视图的时候,却碰到了问题,而且也花费了半天解决这个问题。首先创建视图的时候,会报err-1064的错误,但是整个语法没有错误,通过百度,原来是这样。在mysql5.7创建自定义函数时,要注意有一个坑,要加上DELIMITER $ $ ,$ $ DELIMITER 这两个关键字,要不然...

2020-02-21 17:28:52 135

原创 Ubuntu 16.04.6 LTS 安装FreeSwitch1.10.2版本

安装Ubuntu Server版(省略)第一步#>apt-get -y install build-essential automake autoconf git-core wget libtool第二步#>apt-get -y install libncurses5-dev libtiff-dev libjpeg-dev zlib1g-dev libssl-dev l...

2020-02-20 16:42:21 559

原创 基于Docker容器安装Jenkins

1.下面是按照最新版Jenkins的docker compose的yaml文件jenkins: image: 'jenkins/jenkins:lts' container_name: jenkins restart: always ports: - '8080:8080' - '50000:50000' volumes: - '/opt/jenki...

2020-02-20 10:50:41 204

原创 Percona Server数据导入导出工具总结

经历了一些项目,在使用mysql数据库管理工具的时候,遇到的一些问题做了一些总结:1.不用Navicat工具针对MySQL做数据导入导出 请使用heidisql 10.3.0完成,具体步骤如下:①首先,选择你要导出的数据库,点击鼠标右键:如下图所示②这里是进行对你要导出的某个数据库的内容进行选择导出③对于操作过程中操作中各个选项的含...

2020-02-17 14:48:11 90

原创 阿里巴巴开源Canal 1.1.4实战(一)

公司转入Mysql后,使用了Percona Server for MySQL单机版,为了达到异地机房同步的要求,我们决定使用Canal来做异地机房同步,互联网公司需要考虑安全信道来保证数据安全(我们暂时不用考虑)1.Canal初步了解,请参考wiki目录如下:Home Introduction QuickStart Docker QuickStart Canal Kafka/...

2020-01-15 14:22:56 1696

原创 Percona Server For MySQL参数优化(二)

优化参数说明1.充分利用cpu 多核的处理能力innodb_thread_concurrency=0innodb_read_io_threads=10innodb_write_io_threads=82.存储引擎缓存表和索引数据所使用的内存大小,日志组中每个日志文件的字节大小innodb_buffer_pool_size=300G#(adjustvalueher...

2020-01-10 09:42:06 122

原创 如何解决MySQL视图导出依赖问题(暂没有好的工具支持视图导出,最好还是用Navicat,EMS,SQLYog,HediSQL都一样)

问题发生原因:navicat是mysql可视化工具中最棒的,但是,在处理视图的导入导出方面,它是按照视图名称的字母顺序来处理的,若视图存在依赖,在导入过程中就会报错。这个问题一直困绕我,一度因为我使用docker来部署mysql而绕过了这个问题。最近不得不直面这个问题,因此,写了一个小工具来解决它。解决方法:在mysql很容易查出所有视图和其定义,因此可以写一个视图导出工具,存储时对各...

2020-01-09 17:21:50 314

X-Lite_5.8.3_102651.exe

X-Lite 5.8.3_102651安装文件,安装完freeswitch后,使用软电话进行测试,如何测试,可以到百度自行查找

2020-02-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除