- 博客(20)
- 资源 (1)
- 收藏
- 关注
原创 code=$?如何理解
在这个例子中,ls /nonexistent_directory 尝试列出一个不存在的目录,因此这个命令会失败。获取到这个命令的退出状态码,脚本会根据退出状态码判断命令是否成功执行。通常,命令执行成功时,退出状态码为 0,而失败时它通常是一个非零值。来判断前一个命令是否成功执行。将会保存该命令的退出状态码,你可以通过检查这个变量来了解前一个命令的执行结果。是一个特殊的变量,用于获取上一个命令的退出状态码(返回值)。当你执行一个命令后,请注意,你也可以直接在条件语句中使用命令,而不需要显式地检查 $?
2024-01-26 10:52:50
374
1
原创 shell中单引号(‘)双引号(“)和反引号(`)的用法详解
` 或 $() 都是用于命令替换的,使得你能够在Shell脚本中方便地嵌入命令的输出。反引号是一种命令替换的语法。在Shell脚本中,(反引号)和 $() 都可以用于执行命令并将其输出嵌入到另一个命令或变量中。字符串的字面量: 单引号用于创建字符串的字面量,其中的文本会被原样输出,不会对其中的特殊字符进行解释。这两者的作用是相同的,都是执行 command 命令,并将其输出保存到 result 变量中。命令替换: 在双引号中,可以使用 $() 进行命令替换,将命令的输出嵌入到字符串中。
2024-01-26 10:50:22
1102
1
原创 docker+fastapi+Gunicorn+APScheduler部署定时服务和定时器任务重复的问题
Gunicorn会启动多个work,每个work都会启动一个定时器所以会出现多个一摸一样的任务还会同时运行。解决思路:让Gunicorn启动一个work方法一:dockerfie中配置环境变量#DockerfileENV MAX_WORKERS=1方法二:修改gunicorn_conf.py文件把容器中的gunicorn_conf.py复制到项目根目录修改即可生效import jsonimport multiprocessingimport osworkers_per_core_s
2020-08-25 10:22:11
1810
原创 pandas where mask函数详解,get操作DataFrame的正确姿势
Pandas是Python数据科学生态中重要的基础成员,功能强大,用法灵活,简单记录之。更佳阅读体验可移步 Pandas核心概述。这里重点介绍pandas的where mask函数,如果能从这两个函数的用法get到pandas的精髓就再好不过了。用法说明,官方的用法说明比较简洁:where :替换条件(condition)为Flase处的值mask :替换条件(condition)为True处的值where(self, cond, other=nan, inplace=False, axis
2020-08-13 16:28:51
6385
原创 机器学习模型部署的三种方法
“企业机器学习需要从数据工程和数据平台的角度看待大局[...],”贾斯汀·诺曼(Justin Norman)在今年巴塞罗那的DataWorks峰会上关于机器学习模型的部署的演讲中说。实际上,工业机器学习系统是庞大数据基础架构的一部分,这使得端到端ML工作流变得特别复杂。当我们追求最好的机器学习算法时,与现实世界机器学习系统的开发,部署和维护相关的挑战不容忽视。机器学习并不一定要取代人类的决策,它主要是关于帮助人们做出复杂的基于判断的决策。我参加的演讲是Cloudera的专家Justin Norman
2020-08-13 10:49:29
5760
原创 cenos安装docker-compose报错ERROR: Command errored out with exit status 1: python setup.py egg_info Check
使用“pip install—upgrade pip”命令进行pip版本升级。pip install --upgrade pippip install --upgrade setuptools”命令进行setuptools 版本升级。[xiaokang@localhost ~]$ sudo pip install --upgrade setuptools
2020-05-13 09:39:43
735
原创 阿里源开源镜像站,秒换各种源,不等待,不求人
阿里镜像源,速度6到飞起,基本上涵盖了主流的容器,系统和语言镜像。主页地址:https://developer.aliyun.com/mirror/每一个点进去都会有配置方法和使用攻略,相当给力。另外值得注意的是,有时候更新源会失败那可能是因为下面这种情况,正在同步中。同步期间会导致更新失败。E: Failed to fetch http://mirrors.aliyun.com/debian/dists/buster-backports/main/source/Sourc..
2020-05-11 11:16:35
1229
原创 python for linux 系统更换pip源
适用于所有linux系统执行以下命令即可阿里源:echo " [global]trusted-host = mirrors.aliyun.comindex-url = http://mirrors.aliyun.com/pypi/simple" > ~/.pip/pip.conf 当然如果临时使用可以选择这样pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package其他源,替换
2020-05-09 09:54:56
300
原创 Docker部署FastApi详解,这一篇就够了
首先废话一下,FastAPI是一种现代,快速(高性能)的Web框架,用于基于标准Python类型提示使用Python 3.6+构建API。据说是go+nodejs的竞争对手。☞FastAPI 官方文档这里主要讲的是uvicorn-gunicorn-fastapi 这个Fastapi的官方镜像,主要的技术细节:UvicornUvicorn是一款闪电般的“ ASGI”服务器。它...
2020-04-30 11:28:33
17981
5
原创 incepter、hive 中日期操作函数的总结
当前时间函数(1)current_dateSELECT current_date() FROM t1 LIMIT 1 ;select unix_timestamp() FROM t1 LIMIT 1;(2)current_timestampSELECT current_timestamp() FROM t1 LIMIT 1 ;(3)current_time...
2019-12-26 17:44:53
2470
1
原创 ubuntu/debian-bluster 用python安装 sasl 报错解决
apt-get install libsasl2-dev废话不说,这一个依赖就解决了。sasl是pyhive依赖的其中一个模块。在win系统中有对应的离线包可以用。
2019-12-26 17:43:57
2416
原创 ubuntu系统中使用 pip安装mysqlclient报错解决
在 ubuntu 系统 使用 Python 安装mysqlclientpip3 install mysqlclientCollecting mysqlclient Using cached https://files.pythonhosted.org/packages/d0/97/7326248ac8d5049968bf4ec708a5d3d4806e412a42e74160d7f2...
2019-12-26 17:37:50
2109
原创 Incepter 中的 join 语句测试
step1 建测试表CREATE TABLE t1(id INT , na STRING)CLUSTERED BY(id)INTO 1 BUCKETSSTORED AS ORCTBLPROPERTIES("transactional" = "true");INSERT INTO t1 VALUES(1,'a');INSERT INTO t1 VALUES(2,'b');...
2019-07-10 10:23:52
945
原创 在linux中出现rm -rf 无法删除的文件怎么办
问题1: 卸载不干净时,rm -rf 一些文件夹时出现了文件或者设备忙的提示。解决: 把提示出现的文件全部复制出来 分别执行以下操作:fuser -k dir... #-k表示杀死占用该文件的进程umount dir...rm -rf dir....问题2: 出现的磁盘部分损坏的情况,具体表现为 rm -...
2019-02-26 09:32:05
12357
原创 分布式系统如何实现跨语言的信息通信(python /java)
最近公司在做大数据系统,需要把Python端的数据分析对接java客户端,因为分析的服务和客户端不在同一个服务器上运行,这样做也最大程度的保证了彼此的资源不受到影响,于是果断舍弃了Jpython和runtime()之流。 询问了某个大佬,他说哪有这么麻烦,直接远程ssh登录,使用beeline就好了,那么安全性呢,他说可以使用文件或者环境量去传递密码或者做加密处理不就好了,也是一...
2018-12-07 14:36:40
2123
1
原创 hive JdbcStorageHandler 实现hive 即时调用mysql数据库中的数据
JdbcStorageHandler 项目地址https://github.com/qubole/Hive-JDBC-Storage-Handler可以使用如下的建表语句在 hive 中创建符合 jdbc 的数据库支持的表。CREATE EXTERNAL TABLE domains ( id INT, account_id INT, domain_name STRING,...
2018-12-05 14:25:10
2274
原创 jupyter notebook 权限控制,实现多个用户工作空间不同,同时使用
首先设置服务器远程登录,参考下面这篇文章:https://blog.csdn.net/qq_18293213/article/details/72910834使用 jupyter notebook --generate-config 命令生成配置文件。打开python 命令行,输入下面两条命令并输入密码三次,生成sha1秘钥from notebook.auth import p...
2018-08-30 20:12:55
19384
原创 Pandas 操作多个列进行运算,并生成新列的方法
pandas 实现对一行中的多个列运算 ,生成新的列的方法,之前找了很久没找到,后来发现其实就是eval方法,非常好用。df.eval('new1 = 气温 + 湿度 + PM2P5' , inplace=True)inplace参数: 是否在原数据上操作。inplace=False 将会生成新的DataFrame一次新增多个列可以使用df.eval(""...
2018-06-20 13:14:36
68286
7
inceptor-connector-odbc-6.0.0-winx64.exe
2020-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人