小茹_1107-CSDN博客

原创 Element UI 改变主题色

原文链接：https://blog.csdn.net/weixin_44258786/article/details/123547305。node_modules\element-ui\lib\theme-chalk 下替换原有的文件。解压得到：fonts文件夹和index.css。2、然后下载相应的主题包：style.zip。之后重启服务器就可以更换主题色了。

2023-06-06 15:47:52 875

最近学习了python的又一个实用功能一发邮件，特此记录。首先，邮箱服务器是有很多种的，我们这里采用的是QQ邮箱。一. 申请token需要申请token，不然人家怎么知道你是谁二. 使用上面的token调用API发送邮件没什么特别的，直接上代码。#!/usr/bin/python# -*- coding: UTF-8 -*- import smtplibfrom email.mime.text import MIMETextfrom email.utils import format

2021-04-08 13:17:56 290

原创代码访问gitlab统计项目信息

背景：公司有项目需要统计gitlab上面的各个RD的代码变更情况。好久不写博客了！得好好学习一下了，最近项目告一段落，简单总结一下。官方文档：https://python-gitlab.readthedocs.io/en/stable/api-usage.html一.安装python-gitlab包pip install python-gitlab注意: 一定要安装python-gitlab而不是gitlab ！这两个包名字类似，导入方法都是import gitlab。但是会相互冲突。一旦发生

2021-04-07 19:46:43 517

原创项目中遇到的问题回顾

1、原生的json包无法解析未知格式的json数据解决方法：使用第三方的simpleJson包解析数据2、空map不能赋值func main() { var t map[string]string t["name"]="zhangsan" //报错}解决方法：先初始化mapfunc main(){ t := make(map[string]string) t["name"]="zhangsan" //正常}3、如何使用go map同时储存多种类型

2020-11-17 15:58:55 418

原创 go语言-json数据处理

前言：go语言原生的json数据处理包encoding/json实在太恶心人了，要求每使用一个json就必须定义一个对应的结构体。有时候处理接口返回数据时，json结构很复杂，原生的包无法满足我们的需要。故引入了gitlab上的一个工具包simplejson。1. 安装go get github.com/bitly/go-simplejson2. 引入import ( simplejson "github.com/bitly/go-simplejson")case1 基础使用-数据解

2020-11-03 16:25:46 590

原创 go map同时储存多种类型的value

如下定义：只能储存string类型的value。mapStr := make(map[string]string)如下定义：只能保存int类型的value。mapInt := make(map[string]int)如下定义：可以保存string、int等不同类型的value。mapInterface := make(map[string]interface{})注意：但是最后一种方法定义的map通过key取出来的value是一个interface{}类型，需要转化才能直接使.

2020-10-13 16:13:17 2209

转载 golang中channel的用法

channel有点类似于管道，它在goroutine同步与通信中，有着起承转合的作用，同时也是Golang实现CSP模型的关键package mainfunc main() { senderOnly := make(chan<- int) // 只能用来发送（管道的入口，只进不出） receiverOnly := make(<-chan int) // 只能用来接收（管道的出口，只出不进） unbuffer := make(chan int) //

2020-10-13 15:27:00 774 1

转载计算密集型任务 IO密集型任务的区别

一、计算密集型任务的特点是要进行大量的计算，消耗CPU资源。比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成，但是任务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。计算密集型任务由于主要消耗CPU资源，因此，代码运行效率至关重要。Python这样的脚本语言运行效率很低，完全不适合计算密集型任务。对于计算密集型任务，最好用C语言编写。二、涉及到网络、磁盘IO的

2020-10-09 17:30:00 647

原创 GO语言未解之谜

1. defer的迷之执行顺序以下代码输出：0func a() { i := 0 defer fmt.Println(i) i++ return}以下代码输出：100func a() { i := 0 defer fmt.Println(i) i = 100 return}

2020-09-04 15:34:42 117

原创数据库操作

1、数据库备份不要数据，只导出表：mysqldump -uroot -p -h127.0.0.1 -P5855 --default-character-set=utf8 --hex-blob=true --single-transaction --skip-tz-utc --databases --no-data athena >file.sql.202003241430302、数据库备份,导出建表语句和表里面的全部数据：mysqldump -uroot -p123456 -h172.17

2020-06-01 18:07:12 129

翻译 docker系列一发布镜像到docker hub仓库和使用仓库中的镜像

1 登录如果您没有Docker帐户，请在hub.docker.com上注册一个帐户。记下您的用户名和密码。$ docker login2 标记image将本地映像与注册表上的存储库相关联的表示法是 username/repository:tag。例如 get-started:part2。这会将镜像放入get-started存储库并将其标记为part2。现在，一起来标记图像：docker tag image_id username/repository:tag3 发布image将标记的图

2020-05-28 16:43:29 8369

原创 docker系列一MySQL5.6镜像使用&挂载本地数据库文件

下载原始的MySQL5.6镜像：docker pull mysql:5.6查看镜像：# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEmysql 5.6 9e4a20b3bbbc 7 days ago 302MB启动MySQL镜像的实例docker r

2020-05-28 15:45:38 1188

原创 docker系列一安装docker

卸载旧的干扰文件：yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \

2020-05-28 15:31:21 222

原创安装环境一python2.7&python3.7&虚拟环境

1、安装Python2.7#下载wget https://www.python.org/ftp/python/2.7.0/Python-2.7.0.tgz#解压Python-2.7.0.tgztar -zxvf Python-2.7.0.tgz#建立一个空文件夹，用于存放python2程序mkdir /usr/local/python2.7#切换目录cd Python-2.7.0#设置Python2安装路径./configure --prefix=/usr/local/python2.7

2020-05-27 15:08:52 555

原创分布式追踪系统Jaeger

前言随着公司的发展，业务不断增加，模块不断拆分，系统间业务调用变得越复杂，对定位线上故障带来很大困难。整个调用链不透明，犹如系统被蒙上一块黑纱，当线上遇到故障时，整个技术部就陷入痛苦的漩涡。这时候分布式追踪系统应运而生，如揭开了黑纱，让阳光照进黑暗。一、Jaeger介绍Jaeger是Uber开发的一套分布式追踪系统，已在Uber大规模使用。并在2017-9-13 加入CNCF 开源组织。使用...

2020-04-29 18:16:32 1824 1

原创 PHP安装&使用yar框架

一、yar什么Yar是并行的RPC框架(Concurrent RPC framework)，Laruence开发。二、安装yaryar全部可用版本见：https://pecl.php.net/package/yar，根据自己的需要下载编译安装即可。注：yar和PHP版本不一致会导致编译失败，如果出现编译失败请下载其他版本的yar重新编译#wget https://pecl.php.net...

2020-04-28 19:24:59 1474

原创 LNMP一键搭建PHP服务端

最近工作需要在Linux环境下部署PHP环境，于是第一次试用大名鼎鼎的LNMP，以下是LNPM的README文件，需要的同学自取：LNMP一键安装包 - ReadmeLNMP一键安装包是什么?LNMP一键安装包是一个用Linux Shell编写的可以为CentOS/RHEL/Fedora/Aliyun/Amazon、Debian/Ubuntu/Raspbian/Deepin/Mint L...

2020-04-26 11:23:57 365

原创 ElasticSearch6（ES）学习

项目Value电脑$1600手机$12导管$1Column 1Column 1Column 2Column 2Column 2centered 文本居中centered 文本居中文本居右文本居右文本居右

2020-04-23 20:07:11 405

转载如何画系统架构图

本文系转载，感谢原作者的无私分享：作者：动力节点链接：https://www.zhihu.com/question/27440059/answer/780182558来源：知乎一、什么是架构图系统架构图是为了抽象的表示软件系统的整体轮廓和各个组件之间的相互关系和约束边界，以及软件系统的物理部署和软件系统的演进方向的整体视图。二、架构图的作用一图胜千言。要让干系人理解、遵循架构决策，...

2020-04-08 18:17:43 23780

原创 Spark Streaming流式计算

11Spark Streaming’s Kafka libraries not found in class path. Try one of the fo$SPARK_HOME下面

2019-11-26 11:14:38 289

原创 spark分布式大数据计算7一spark和pyspark的安装和启动

一、安装spark前面我们已经学习了spark的基础知识了，那我们就来实际操练一下。首先安装Python的spark工具pip install pyspark 我这里没有输入需要安装的版本，默认安装的是最新版本2.4.4，你也可以写入你具体想要安装的版本：pip install pyspark==2.4.4 #2.4.4就是你想要安装的具体版本号200多兆呢，耐心等待吧...

2019-11-19 16:17:29 877

转载 spark分布式大数据计算6一数据处理

在正式建模之前，需要非常了解建模所要用到的数据，本文主要介绍一些常见的数据观测和处理方法。1.数据观测（1）统计数据表中每一列数据的缺失率%pyspark #构造原始数据样例df = spark.createDataFrame([ (1,175,72,28,'M',10000), (2,171,70,45,'M',None), (3,172,None,None,...

2019-11-19 14:06:58 166

转载 spark分布式大数据计算5一文本特征处理

今天有处理文本特征数据，刚开始因为不太熟悉pyspark环境下处理文本数据的流程，导致踩了不少的坑。在这里记录一下，以供以后参考。先写下整个处理的流程：（1）从数据库中提取数据（2）将提取的数据转换成DataFrame格式（3）使用tokenizer分词（4）将文本向量转换成稀疏表示的数值向量（字符频率向量）（5）将tokenizer得到的分词结果转换数字向量实现代码如下所示：%p...

2019-11-19 11:51:49 213

转载 spark分布式大数据计算4一DataFrame基本操作

https://blog.csdn.net/FlySky1991/article/details/79569846DataFrame是一种分布在集群节点中的不可变的分布式数据集，这种数据集是以RDD为基础的，其被组织成指定的列，类似于关系数据库的二维表格和Python中的Pandas.DataFrame。DataFrame本身带有Schema元信息，即DataFrame所表示的二维表数据集的每...

2019-11-19 11:48:04 695

转载 spark分布式大数据计算3一RDD基本操作

https://blog.csdn.net/FlySky1991/article/details/79556131RDD（弹性分布式数据集）是一组不可变的JVM对象的分布集，这些对象允许作业非常快速地执行计算，是Apache Spark的核心。本文主要结合简单的例子介绍下RDD的基本操作。一、创建RDD在PySpark中，有两种方式可以创建RDD，一种是用.parallelize()集合（元...

2019-11-19 11:27:17 590

转载 spark分布式大数据计算2一spark基础原件

本文参考自：https://blog.csdn.net/FlySky1991/article/details/79493830感谢原文作者的细心整理和无私分享。一、Spark 作业任何Spark应用程序都会分离主节点上的单个驱动进程（包含若干个作业），然后将执行进程（包含若干个任务）分配给多个工作节点。驱动进程会确定任务进程的数量和组成，然后任务进程根据DAG（有向无环图）调度器的依赖关系...

2019-11-18 19:11:10 129

原创 spark分布式大数据计算1一介绍

https://www.cnblogs.com/hithink/p/9595380.html

2019-11-18 16:08:00 248

转载 Kafka相爱相杀第5集一kafka的配置文件

https://blog.csdn.net/luanpeng825485697/article/details/81036028#commentBox明天写下班了

2019-11-12 19:17:18 110

转载 Kafka相爱相杀第3集一Python操作kafka

python操作kafka我们已经知道了kafka是一个消息队列,下面我们来学习怎么使用Python向kafka中传递数据和如何从kafka中获取数据安装python的kafka库pip install kafka按照官网的样例，先跑一个应用1、生产者demo:from kafka import KafkaProducerfrom kafka.errors import Kafka...

2019-11-11 18:22:18 404

原创 Linux安装java

一、yum查看yum管理中可用的JDK安装包执行如下命令：yum search java | grep -i --color JDK命令执行结果如下：[root@localhost ~]# yum search java | grep -i --color JDKldapjdk-javadoc.x86_64 : Javadoc for ldapjdkicedtea-web.x86_6...

2019-11-11 15:19:34 176

原创 Kafka相爱相杀第2集一Kafka（单节点）安装&配置&启动

kafka生产者话不多说，先上图，（此图摘自：https://www.jianshu.com/p/7feea4860a0f）首先，创建ProducerRecord必须包含Topic和Value，key和partition可选。然后，序列化key和value对象为ByteArray，并发送到网络。接下来，消息发送到partitioner。如果创建ProducerRecord时指定了partit...

2019-11-08 11:26:51 524

原创 Kafka相爱相杀第1集一理论基础

https://blog.csdn.net/luanpeng825485697/article/details/81036028 继续参考这里一、kafka系统介绍Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有：以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；高吞吐率，单台服务器可以达到每秒几十万的吞吐...

2019-11-07 19:20:30 226

原创 GitLab安装使用记录

一、安装软件助手安装Git和Tortoisegit二、克隆远程仓库2.1 新建空白文件夹2.2 执行克隆右键-git-clone-输入你的远程仓库的http地址-点击OK会让你输入用户名和密码，输入即可。2.3 秘密错误密码输入错误的傻小孩看过来。因为我就是第一次输错了密码，后面怎么都无法克隆成功，关键是后面克隆没有让我重新输入用户名和密码啊！怎么办呢？不要慌。鼠标右键-Gi...

2019-11-06 18:05:51 359 1

原创 Hash表

一、Hash表的设计初衷Hash表的内部采用顺序存储方式，传统的顺序存储结构当查询某个值时需要经过多次遍历和比较才能找到目标值，为了减少查询过程中的比对时间，Hash表在对象的key值和存储地址之间构建了某种函数关系，使得通过计算需要查询的key值就可以直接得出该值的存储位置，大大降低了查询的代价。二、Hash算法的定义Hash表在存储键值对之前需要使用一定的算法将键值映射到存储地址上，该...

2019-10-28 14:30:00 447

原创 Redis入门-基础键值对、list、set、hashlist基础操作

关于RedisRedis是非关系型数据库（NoSQL）的一种，区别于关系型数据库。其内部数据间相互独立，性能表现优秀。即使是在大量数据下性能也很好，这都得益于其数据结构简单，数据间相互独立的特性。而这些特性都是关系型数据库所望尘莫及的。主流的NoSQL产品NoSQL数据库的四大分类键值对(Key-Value)存储：Redis优：快速查询劣：存储的数据缺少结构化列存储：HBase优...

2019-10-14 16:15:23 500

原创 redis的安装与使用

本文转自：https://www.cnblogs.com/fu-yong/p/9141294.html感谢原文作者的无私分享。简介redis是当前比较热门的NOSQL系统之一，它是一个key-value存储系统。和Memcached类似，但很大程度补偿了memcached的不足，它支持存储的value类型相对更多，包括string、list、set、zset和hash。这些数据类型都支持pu...

2019-10-12 17:38:57 112

原创 Python的import过程以及init.py的作用

首先解释一下基本概念：模块（module）：其实就是一个py文件，里面定义了各种变量，函数，类。包（package）：一个文件夹就是一个package，package里面可包含xx.py、xx.pyc等文件。元素（element）：module里面的定义的变量啊、类啊等。是否必须有__init__.py文件 ?Python2的package下面必须有__init__.py文件，否则...

2019-10-12 16:14:57 2743

原创 Python 的Socket注意事项

1、获取socket对象my_socket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)AF_UNIX（基于文件的套接字）区别于AF_INET（基于网络的套接字），见https://www.cnblogs.com/langzou/p/7497848.htmlsocket.SOCK_STREAM区别于SOCK_DGRAM，两者分别使用...

2019-10-11 17:20:00 331

原创 flask-socketio的使用

安装 flask-socketiopip install flask-socketio简单使用1、导入Flaskfrom flask import Flask 2、导入flask_socketiofrom flask_socketio import SocketIO 3、创建Flask的APP对象my_app=Flask(__name__) 4、创建so...

2019-10-11 15:31:03 683