- 博客(311)
- 资源 (74)
- 问答 (1)
- 收藏
- 关注
原创 python多种SMTP邮件格式发送
python多种SMTP邮件格式发送文本类邮件HTML类邮件附件类邮件SSL加密邮件文本类邮件# -*- encoding: utf-8 -*-# @Author : Running_Tiger # @File : sendmail.py # @Time : 2020/11/3 0:25import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务ma
2020-11-06 00:23:13
721
原创 Centos8上安装中文字符集
Centos8上安装中文字符集查看当前字符集$ echo $LANGen_US.UTF-8安装中文字符集 yum install glibc-common yum install -y langpacks-zh_CN vim /etc/locale.conf # 修改这个文件 LANG=zh_CN.utf8 source /etc/locale.conf查看修改后字符集$ echo $LANGzh_CN.UTF-8喜欢就点赞评论+关注吧感谢阅读,希望能帮助到大家
2020-11-02 12:09:07
3067
2
原创 python绘图库Turtle实例详解
python绘图库Turtle实例详解1、画布2、画笔2.1、画笔状态2.2、画笔属性2.3、绘图命令3、实战3.1、正方形3.2、圆形3.4、多边形3.5、太阳花3.6、时钟Turtle库是Python中一个操作很方便的绘制图像的函数库,在一个横轴为x、纵轴为y的坐标系原点(0,0)位置开始,根据指令在这个平面坐标系中移动绘制图形。1、画布画布(canvas)是用于绘图的区域,可以设置大小...
2020-02-16 18:19:51
6680
原创 python多线程 (五) Tkinter
python多线程 (五) Tkinter登录窗口上代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019/8/6 15:29# @Author : Running_Tigerimport tkinter as tkfrom tkinter import messageboximport pickle...
2019-08-06 16:33:39
1134
3
原创 python多线程 (四) 线程优先级队列
python多线程 (四) 线程优先级队列Python的Queue模块FIFO、LIFO、LifoQueue、PriorityQueue这些队列实现了锁原语可以在多线程中直接使用上代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019/8/5 19:38# @Author : Running_Tigerim...
2019-08-05 19:40:08
1535
1
原创 python多线程 (三) 线程同步
python多线程 (三) 线程同步如果多个线程共同对某个数据修改,则可能出现数据错误,为了保证数据的正确性,需要对多个线程进行同步。使用Thread对象的Lock和Rlock可以实现简单的线程同步,这两个对象都有acquire方法和release方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到acquire和release方法之间。如下:多线程的优势在于可以同时运行多个任务...
2019-08-05 19:27:14
1661
原创 python多线程 (二)
python多线程 (二)Python3通过两个标准库_thread和threading提供对线程的支持。_thread提供了低级别的、原始的线程以及一个简单的锁,它相比于threading模块的功能还是比较有限的。threading模块除了包含_thread模块中的所有方法外,还提供的其他方法:threading.currentThread():返回当前的线程变量。threading...
2019-08-05 19:17:42
379
原创 python多线程 (一)
python多线程 (一)Python中使用线程有两种方式:函数或者用类来包装线程对象。函数式:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:_thread.start_new_thread ( function, args[, kwargs] )参数说明:function - 线程函数。args - 传递给线程函数的参数,他必须是个...
2019-08-05 19:06:48
894
原创 bash: jps: command not found
bash: jps: command not found已经安装jdk,配置好jdk的环境变量,并且在本机执行jps命令没有问题!通过ssh或者相应脚本命令,执行其他机器的jps命令,报错“bash: jps: command not found”解决办法:1.切换root用户su root2.远程机器创建符号链接ln -s /export/servers/java/jdk1.8....
2019-07-27 14:31:48
2505
2
原创 Spark修改控制台日志级别
Spark修改控制台日志级别一、修改conf/log4j.properties二、重启集群INFO日志过多不易于观察错误和执行结果,需要调整日志输出级别。一、修改conf/log4j.propertiescp log4j.properties.template log4j.propertiesvi log4j.propertieslog4j.rootCategory=INFO, co...
2019-07-26 22:59:56
3079
原创 HTTP状态码总结
HTTP状态码总结在url发出一个请求时,服务器上都会对应一个应答对象response,其中它包含一个数字”状态码”。HTTP状态码表示HTTP协议所返回的响应的状态。100:继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。101: 转换协议 在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在...
2019-06-02 09:28:31
261
1
原创 Spark MLlib ALS交替最小二乘法算法实现
这Spark MLlib ALS交替最小二乘法算法实现一、训练数据二、实战代码三、运行结果ALS是交替最小二乘法(alternating least squares)的简称。在机器学习的上下文中,ALS特指使用交替最小二乘法求解的一个协同推荐算法。它通过观察到的所有用户给产品打分,来推断每个用户的喜好并向用户推荐适合的产品。一、训练数据数据格式:用户ID,物品ID,评分1,1,5.01,...
2019-05-05 16:39:52
1002
1
原创 Spark MLlib FPGrowth关联规则算法实现
Spark MLlib FPGrowth关联规则算法实现一、基本概念1、项与项集2、关联规则3、支持度4、置信度5、提升度二、FPGrowth算法1、构造FP树2、FP树的挖掘三、训练数据四、实战代码五、运行结果一、基本概念1、项与项集这是一个集合概念,在一个篮子商品中的一件消费品即一项(iten),若干项的集合为项集,如{啤酒,尿布}构成一个二元项集。2、关联规则关联规则用于表示数据内...
2019-04-26 11:11:18
1490
原创 Spark MLlib线性回归简单实现
Spark MLlib线性回归简单实现Spark MLlib线性回归简单实现一、训练数据二、实战代码三、线性回归预测及预测误差Spark MLlib线性回归简单实现一、训练数据普通标签数据,数据格式:“标签,特征值1 特征值2 特征值3…”训练数据lpsa.data如下:-0.4307829,-1.63735562648104 -2.00621178480549 -1.862425972...
2019-04-26 09:34:01
3403
1
原创 TensorFlow 编程模型
TensorFlow 编程模型一、边二、节点三、其他概念TensorFlow 是用数据流图做计算的,因此我们先创建一个数据流图(也称为网络结构图),如图,看一下数据流图中的各个要素。上图介绍了 TensorFlow 的运行原理。图中包含输入(input)、塑形(reshape)、Relu 层(Relu layer)、Logit 层(Logit layer)、Softmax、交叉熵(cross...
2018-12-03 18:54:36
709
原创 TensorFlow 设计理念
TensorFlow 设计理念一、将图的定义和图的运行完全分开,TensorFlow 被认为是一个“符号主义”的库。二、TensorFlow 中涉及的运算都要放在图中,而图的运行只发生在会话中。TensorFlow的设计理念主要体现在以下两个方面。一、将图的定义和图的运行完全分开,TensorFlow 被认为是一个“符号主义”的库。编程模式通常分为命令式编程(imperative style...
2018-12-03 18:34:40
558
原创 TensorFlow 系统架构
TensorFlow 系统架构上面是 TensorFlow 的系统架构,自底向上分为设备层和网络层、数据操作层、图计算层、API 层、应用层,其中设备层和网络层、数据操作层、图计算层是TensorFlow的核心层。下面就自底向上详细介绍一下TensorFlow的系统架构。最下层是网络通信层和设备管理层。网络通信层包括gRPC(google Remote Procedure Call Prot...
2018-12-03 18:24:26
1126
原创 SGD 简单实现
梯度下降法SGD 简单实现梯度下降法,梯度下降法是机器学习中最常用的优化算法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代(步长)能使待优化的目标函数逐步减小。一个多元函数的梯度方向是该函数值增大最陡的方向,在一元函数中,梯度方向是沿着切线方向;而在多元函数中,梯度向量是函数值f对每个变量的导数,向量的方向就是梯度方向。# TODO:梯度下降,代码实现XOld = 0XN...
2018-12-03 18:01:48
4052
原创 GBDT 简单实现
GBDT 简单实现实战梯度提升决策树(Gradient Boosting Decision Tree,GBDT)算法是近年来被提及比较多的一个算法,这主要得益于其算法的性能,以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现,有很多人对GBDT算法进行了开源代码的开发,比较火的是XGBoost和微软的LightGBM。实战# -*- encoding: utf-8 -*-'''# @a...
2018-12-03 17:39:59
1580
原创 hadoop2.X、3.X编译
hadoop2.X、3.X编译一、编译环境软件安装二、下载待编译源码三、编译四、编译完成五、总结一、编译环境每个hadoop版本需要的软件版本不全同可自行根据BUILDING.txt自行调整,已经验证下面列表能编译hadoop2.X,3.XCentOS 6.7 x64java 1.8apache-ant-1.10.3apache-maven-3.5.3cmake-3.4.1fin...
2018-11-22 20:03:10
517
原创 SparkSql常用操作
SparkSql常用操作一、数据库数据准备二、实战Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用Scala提供的DataFrame API来实现。一、数据库数据准备-- ------------------------------ Table structure for persion-- --...
2018-11-22 18:42:37
717
原创 Elasticsearch 5.x 字段折叠的使用
Elasticsearch 5.x 字段折叠的使用一、字段折叠介绍二、字段折叠实战准备数据普通的查询效果加个评分排序一、字段折叠介绍在 Elasticsearch 5.x 有一个字段折叠(Field Collapsing,#22337)的功能非常有用字段折叠是一个很有历史的需求了,可以看这个 issue,编号#256目测该特性将于5.3发布,尝鲜地址:Elasticsearch-5.3.0...
2018-11-19 00:22:00
1163
原创 Elasticsearch查询去重
Elasticsearch查询去重实现查询去重、分页例如:实现依据qid去重,createTime排序DSL:GET /nb_luban_answer/_search{ "query": { "match": { "status": 1 } }, "sort": [ { "createTime": { "ord.
2018-11-18 23:44:07
3772
3
转载 Elasticsearch聚合后分页详解
Elasticsearch聚合后分页详解一、Elasticsearch支持聚合后分页吗,为什么?二、Elasticsearch要实现聚合后分页,该怎么办?三、“聚合后不能分页,但能分区来取”,是什么鬼?四、聚合后分页实战五、Elasticsearch聚合+分页速度慢,该如何优化?六、总结七、优化升级一、Elasticsearch支持聚合后分页吗,为什么?不支持,看看Elasticsearch员...
2018-11-18 23:30:36
2627
原创 Hive的distinct和group by性能比较
Hive的distinct和group by性能比较Hive去重统计当一个表的数据量非常大的时候,会发现一个简单的count(distinct order_no)这种语句跑的特别慢,和直接运行count(order_no)的时间差了很多。在能使用group by代替distinc就不要使用distinct验证order_snap为订单的快照表 总记录条数763191489,即...
2018-10-26 00:56:56
8456
原创 nvalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3
解决Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986这个问题是高版本tomcat中的新特性:Tomcat在 7.0.73, 8.0.39, 8.5.7 版本后,添加了对于http请求的规则验证,就是严格按照 RFC 3986规范进行访问...
2018-10-26 00:22:24
4011
3
原创 MySQL查看数据库性能常用命令
MySQL查看数据库性能常用命令一、查询服务器状态和配置列出MySQL服务器运行各种状态值:mysql> show global status;查询MySQL服务器配置信息语句:mysql> show variables;二、慢查询 mysql> show variables like '%slow%'; +--------------...
2018-09-21 15:49:44
26306
1
原创 SQL---Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column '
SQL---Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column '数据库中执行sql语句时报这个错误: Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nona...
2018-09-21 15:24:09
911
原创 Java中instanceof用法
Java中instanceof用法java 中的instanceof 是一个二元操作运算符,是Java的保留关键字,和>=,<=,==属同一类,用来作判断,instanceof 左边对象是否为instanceof 右边类的实例,返回boolean类型值。还可以用来判断子父类的所属关系。用法: boolean result = object instanceof String[...
2018-09-21 11:34:55
616
原创 Hive时间函数
Hive时间函数1、unix_timestamp()返回当前时区的unix时间戳 返回类型:bigint hive> select unix_timestamp() from hive_sum limit 1; 14658750162、from_unixtime(bigint unixtime[,string format])时间戳转日期函数 返回类型:strin...
2018-09-09 21:47:16
648
原创 Linux统计当前文件夹下的文件个数、目录个数
Linux统计当前文件夹下的文件个数、目录个数1、统计当前文件夹下文件的个数 ls -l |grep "^-"|wc -l2、统计当前文件夹下目录的个数ls -l |grep "^d"|wc -l3、统计当前文件夹下文件的个数,包括子文件夹里的 ls -lR|grep "^-"|wc -l4、统计文件夹下目录的个数,包括子文件夹里的ls -lR|grep...
2018-09-09 21:32:03
10601
原创 Shell的8种字符串截取方法
Shell的8种字符串截取方法假设有变量 var=http://www.aaa.com/123.htm.1、# 号截取,删除左边字符,保留右边字符。 echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.aaa.com/123.htm2、## 号截取,删除左...
2018-09-09 21:23:35
546
原创 Shell中的for和while循环详解
Shell中的for和while循环详解一、for循环 数字段形式 for i in {1..10}do echo $idone 详细列出(字符且项数不多)for File in 1 2 3 4 5 do echo $File done 对存在的文件进行循环for shname in `ls *.sh`do n...
2018-09-09 21:15:50
2705
原创 Linux 命令大全
Linux 命令大全1、文件管理 cat chattr chgrp chmod chown cksum cmp diff diffstat file find git gitview indent cut ln less locate lsattr mattrib mc md...
2018-09-09 20:18:22
308
原创 Shell 文件包含
Shell 文件包含. filename # 注意点号(.)和文件名中间有一空格或source filename1、创建两个 shell 脚本文件test1.sh 代码如下:#!/bin/bash. ./test1.sh#或者使用source ./test1.shecho "test1 context: "$contexttest2.sh 代码如下:...
2018-09-09 16:28:20
412
原创 Shell 输入/输出重定向
Shell 输入/输出重定向1、重定向命令重定向命令列表如下:命令 说明 command > file 将输出重定向到 file。 command < file 将输入重定向到 file。 command >> file 将输出以追加的方式重定向到 file。 n > file 将文件描述符为 n 的文件重定向...
2018-09-09 16:08:46
549
原创 Shell最全运算符
Shell最全运算符Shell运算符类型如下:算数运算符 关系运算符 布尔运算符 字符串运算符 文件测试运算符1、算术运算符下表列出了常用的算术运算符,假定变量 a 为 10,变量 b 为 20:运算符 说明 举例 + 加法 `expr $a + $b` 结果为 30。 - 减法 `expr $a - $b` 结果为 -10。...
2018-09-09 13:20:22
234
1
原创 Shell Date命令
shell Date命令1、Date命令date +%Y 以四位数字格式打印年份date +%y 以二位数字格式打印年份date +%m 月份date +%d 日期date +%H 小时date +%M 分钟date +%S 秒date +%w 星期,如果结果显示0,则表示周日前一天的日期date -d "-1 day" +%d前一小时date -d "-1 h...
2018-09-09 12:36:15
4044
原创 Windows转linux的shell编码设置
Windows转linux的shell设置1、添加文件可执行权限chmod +x tmp.sh2、运行可执行文件3、查看编码4、重新设置编码:set fileformat=unix#或者:set ff=unix5、执行喜欢就点赞评论+关注吧感谢阅读,希望能帮助到大家,谢谢大家的支持!...
2018-09-09 01:02:15
1481
Ringdown在EMA prognostics technology description
2018-11-12
Web Development Recipes
2018-10-31
最新SpringCloud
2018-10-31
最新Scrapy爬虫框架
2018-10-31
2018中英源码Python深度学习
2018-10-31
全新:九年双11:互联网技术超级工程
2018-01-29
编译hadoop3.0.2 enforce-banned-dependencies失败
2018-04-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人