weixin_41665106的博客

原创 更新ssl证书的命令

IMPORTANT NOTES:- Congratulations! Your certificate and chain have been saved at: /etc/letsencrypt/live/www.sssz.xyz/fullchain.pem Your key file has been saved at: /etc/letsencrypt/live/www.sssz.xyz/privkey.pem Your certificate will expire on...

原创 pandas 时间读取 代码存储

acc_data['processed_seq'] = acc_data['processed_seq'].map(lambda x: datetime.datetime.strptime(x, '%Y-%m-%d %H:%M:%S.%f'))

原创 plotly 代码存储

import plotly.graph_objects as goimport plotlyimport plotly.offline as pltoffdef plot_mets(phone,actigraph): """ 画actigraph 和手机 cut point 转化为mets之后的点图 :param phone: df :param actigraph: df :return: """ fig = go.Figure(layou.

原创 Fastapi 所有需要的插件

FastAPI哪里都好，就是各种需要的依赖散落在官方文档里，每次起一个新pipenv环境还得一个个找，究极麻烦，所以整理了一下pip install fastapi[all]pip install boto3 # 不需要连接AWS服务的可以不用装boto3pip install pynamodb # 不需要连接AWS Dynamodb服务的可以不用装pip install python-jose[cryptography]pip install passlib[bcrypt]...

原创 Python 管理路径（实现windows和linux环境切换不用修改代码）

因为Windows和Linux文件路径的表示符号不同，所以经常在切换环境的时候提示找不到文件等。并且由于Source Root的切换有时会导致相对路径出现问题，所以最简单的方法是让程序自动获取绝对路径，然后根据需要增删改。所以需要使用os模块统一管理路径。# 获取当前文件所在文件夹的绝对路径path = os.path.dirname(__file__)# 再根据需要组合地址h5_path = path + '/lstm_model_LEAKLEVEL.h5'# 获取上一级文件夹的

原创 Python Flask + Vue.js + AWS elastic beanstalk 实现全栈快速上线部署

AWS Elastic beanstalk 是一项Web快速部署与持续交付服务只需要按照亚马逊的要求在开发环境进行一些微小的修改，就可以直接将开发环境和生产环境连接，一键完成生产环境部署，还是很方便的。我将使用最简单的代码完成一次快速部署，即 ： 开发-部署-公网访问项目结构其中.elasticbeanstalk是Elastic beanstalk的配置文件，在使用eb cli 中的eb init命令后会创建。front是项目的vue.js前端部分代码。static是前端打包后静

原创 Flask+Uwsgi+Nginx启动web服务备忘

# 启动uwsgi,需要先创建logs文件夹uwsgi --ini uwsgi.ini# 查看状态ps -ef | grep uwsgi# 启动nginx,设置了默认启动就不用再开了systemctl start nginx

原创 Linux用户管理

创建用户并设置密码# 在root用户下执行adduser new_user# 此时用户已经被添加但是还不能使用，因为尚未设置密码passwd new_user删除用户userdel user_name #这样不会删除home目录中的用户文件userdel -r user-name #这样会删除home目录中对应的用户目录创建用户群组# 创建一个空的群...

原创 使用Python 装饰器，践行AOP设计理念

def decorator(func): def wrapper(*args,**kw): # *args可以保证使用装饰器的函数需要的参数（一个或多个）被正确传递 # **kw表示接收任意数量的关键字参数，它将以字典的形式被传入 print("这是装饰器附加的语句~~") func(*args,**kw) ...

原创 Python 字典中根据值进行排序

第一种方法使用zip函数+sorted进行排序from random import randintd = {x:randint(60,100) for x in "abdcdifjfdasf"}# {'a': 64, 'b': 97, 'd': 61, 'c': 77, 'i': 89, 'f': 84, 'j': 97, 's': 97}sorted(zip(d.values(...

原创 使用collections.Counter 统计列表中元素出现的频率

通常想要统计一个列表中的元素出现频率得使用创建字典建立索引再遍历列表的方式来实现。但是使用collections.Counter 可以很便捷的给出结果，也可以对结果进行排序from collections import Counterdata = [randint(0,20) for _ in range(30)]c2 = Counter(data)c2Counter({7: 3...

原创 在列表字典集合中根据条件筛选数据

列表1 列表解析from random import randintli = [randint(-20,10) for _ in range(20)]li# [-15, -6, -1, 4, 10, 2, -1, 2, -8, -4, -11, -9, 5, -15, 10, -17, -4, -3, 4, -7]# 使用列表解析[i for i in li if i&gt...

原创 使用contextmanager实现上下文管理器，践行AOP设计理念

contextmanager可以在核心代码的前面和后面补充执行代码from contextlib import contextmanager@contextmanagerdef add_my_code(): print("i want eat ",end="") yield print(".",end="")with add_my_code(): p...

原创 在Flask中的事务与回滚

Flask使用的SQLalchmy天然支持事务的特性，不过为了实现回滚还需要添加一些代码 if form.validate(): # 将用户信息注册进数据库 model_user = User() model_user.login_name = form.username.data # 使用加密方法存储密码 ...

原创 Python 使用filter过滤列表

i = [1,None,"kll"]test = filter(lambda x: True if x else False, i )for k in test: print(k)这种方式比较简洁优雅

原创 Flask 使用url_for反向构建url访问静态文件

<link href="{{ url_for("static",filename="test.css")}}" rel="stylesheet">

原创 Flask 注册静态文件的两种方式

Flask 默认在项目的根目录（注册app核心对象的文件所在的那一级目录）文件夹下查找静态文件（tamplates,static两个文件夹）。如果想要自定义的话有两种方法。在app核心对象层面自定义静态文件app = Flask( __name__,static_folder=,template_folder=)其中static_folder和template_folder是使用相对...

原创 Python 中 with 的使用分析

通常在Python中使用with语句的地方在文件的读写，它的作用是即使出现BUG也可以自动关闭文件释放资源。而with的实质是上下文管理器，想要通过with使用的对象必须包含__enter__()方法和__exit()__方法。使用范例：class A: def __enter__(self): a = 1 return a de...

原创 数据表的三种创建方式

1.Database Fitst手动创建表2.Model First通过绘制模型图生成数据表3.Code First只需要关注代码的编写，数据库中的表由代码中定义的模型自动创建。并且可以在MVC 的M层中可以定义一系列的模型操作方法（业务逻辑）from application import dbclass User(db.Model): __tablena...

原创 tableau 连接hadoop

下载安装ODBC打开ODBC官网下载链接，选择相应操作系统对应的版本，本文下载的是mac版本的odbc。下载完成后，和一般软件一样点击安装即可。ps: 需要登录后，方可下载，所以需要注册一个cloudera的账号。配置连接属性...

原创 Flask通过注册蓝图实现模块化视图函数

问题在使用Flask的时候我们会发现，如果仅仅使用Flask的app核心对象来注册视图函数的话，无法做到将视图函数按照不同功能模块化划分开来，从而导致所有视图函数代码拥挤在一个文件中。而如果强行划分的话又会导致循环引用app对象的问题。所以需要通过Flask的Blueprint类来完成模块划分。Blueprint使用在各个视图函数模块文件中通过蓝图注册视图函数：from flas...

原创 Python 通过Restful API 访问Github获取个人信息

Github访问个人信息的API是：https://api.github.com/users/<UserName>通过Postman的GET请求可以发现：返回的数据格式为JSON，状态码为200。通过Python实现：request.get()对象的一些其他属性(status_code,headers,cookies,text)https://requests....

原创 Flask 通过url传递参数以及通过request获取参数

Flask可以通过在请求的URL中添加<>以识别参数@app.route("/book/search/<q>/<page>")def search(q,page): pass

原创 Flask通过make_response实现重定向

app.route("/hello")def hello(): headers = { 'content-type':'text/plain', 'location':'http://www.baidu.com' } # 使浏览器识别返回内容为字符串而不是html response = make_response("<h...

原创 Flask response 响应对象和make_response()方法

Flask视图函数返回的不仅仅是字符串，而是会对返回值进行一些列的封装，变成一个response响应对象app.route("/hello")def hello(): # status 200,404,301 # content-type http headers # content-type = text/html # Response retur...

原创 Flask 加载配置文件的方法

一般来说Flask的配置可以直接写在app.run()里app.run(debug=True,host='0.0.0.0',port=81)但是这样无法保持生产和开发环境代码的一致性，所以需要将每种环境的配置写在不同的配置文件中，再根据实际需求进行加载，所以可以使用app.config.from_pyfile()来指定：app.config.from_pyfile( "conf...

原创 flask框架开启DEBUG和指定port，host的方法

app.run(debug=Ture)

原创 flask 视图函数路由的两种注册方式

第一种：直接使用装饰器进行注册@app.route("/hello")def hello(): return "hello flask"第二种：使用app.add_url_rule注册def hello(): return "hello flask"app.add_url_rule("/hello",view_func=hello)...

原创 使用Hive的Hiveserver2的一些命令备忘

hiveserver2 &beeline!connect jdbc:hive2://localhost:10000/defaulthiveserver2运行端口10000

原创 Beeline 连接Hiveserver2 中一些需要配置的文件

一，在$HADOOP_HOME/etc/hadoop/core-site.xml文件中添加以下两条属性<property> <name>hadoop.proxyuser.username.groups</name> <value>*</value></property><property> &...

原创 数据库设计三范式

第一范式：表中所有字段都是不可再分的第二范式：表中必须存在业务主键，并且非主键必须依赖于全部业务主键第三范式：表中的非主键列之间不能互相依赖...

原创 Prometheus+Grafana 监控集群基本信息的简单部署（Ubuntu 16.04）

普罗米修斯是一款非常有前景也十分便利的运维监控软件，Prometheus+Grafana 可以实现非常美观的运维监控画面，并且部署起来也非常简单。下载安装Prometheus和Grafanaprometheus官网下载：prometheus 和node_exporter组件https://prometheus.io/download/下载好以后解压就行Gra...

原创 Python Flask框架端口转发无法访问的问题解决

主要原因是flask 的启动之后运行在：127.0.0.1:5000因为127.0.0.1是回环地址，外界无法访问。所以只需要app.run(host=0.0.0.0)指定host=0.0.0.0就可以访问了现在设置5000端口转发之后再本地就可以访问到服务器（或者虚拟机）上面的flask服务器了~...

原创 azkaban Two Server部署

下载并编译文件参考官网:下载并编译AzkabanInstalling the Solo ServerFollow these steps to get started.Clone the repo:rungit clone https://github.com/azkaban/azkaban.git Build Azkaban and create an installati...

原创 spark常用操作

原创 Presto 连接Hive启动流程【备忘】

source /etc/profilestart-all.shhive --service metastore &launcher startpresto --server master:7670 --catalog hive --schema default

原创 解决ubuntu环境下启动Presto报错：/usr/bin/env: 'python': No such file or directory

配置项和这位一样：Presto调用Hive启动时显示报错/usr/bin/env: 'python': No such file or directory注意presto/bin/launcher的这个句子：exec "$(dirname "$0")/launcher.py" "$@"这句话实际上就等于./launcher.py 参数测试：./launcher.py ...

原创 安装sqoop并使用sqoop访问mysql

首先下载sqoop：wget http://mirror.navercorp.com/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gztar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop然...

原创 分布式部署Apache Hive,使用MySql作为hive的元数据数据库

1.首先需要部署分布式Hadoop：谷歌云分布式部署Hadoop2.然后下载并解压Hive：这里选择Hive的2.3.6版本，目录地址：http://apache.tt.co.kr/hive/wget http://apache.tt.co.kr/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gztar zxvf apache-hive-2...

原创 Hadoop 谷歌云上实现分布式部署（ubantu 18.04）

首先需要对云端服务器的ssh进行设置以实现免密码互联：谷歌云服务器设置多服务器间ssh免登录连接（ubantu 18.04）然后需要设置host（这里有个大坑，就是所有的主机都应该通过内网ip互联，否则就会出现namenode或者datanode无法启动的现象）sudo vim /etc/hosts将文件内容改为这样（如果slave多就直接写在下一行就行）：192.168....