自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Areigninhell的博客

专注互联网、大数据的探索

  • 博客(323)
  • 收藏
  • 关注

转载 基于kerberos认证的 python操作hdfs

import json, osfrom hdfs.ext.kerberos import KerberosClientfrom krbcontext import krbcontext def _connect(self, host, port, sso_ticket=None): try: hdfs_url = 'http://' + host + ':' + port active_str = 'kinit -kt {0}

2021-09-23 16:47:11 10

原创 ubuntu 和 centos 安装kerberos客户端

centos 安装 kerberosyum install -y krb5-workstation krb5-libs krb5-auth-dialogubuntu 安装 kerberosapt-get install -y krb5-user \ libpam-krb5 libpam-ccreds \ auth-client-config libkrb5-dev \结语以上安装属于经验,如果需要java依赖包 python 依赖包,还需安装其它系统依赖

2021-09-23 09:48:28 9

转载 ubuntu安装kerberos gssapi时报/bin/sh: 1: krb5-config: not found错误

具体错误subprocess.CalledProcessError: Command 'krb5-config --libs gssapi' returned non-zero exit status 127.解决办法# 安装过程中缺少依赖包sudo apt-get -y install gcc libkrb5-dev

2021-09-23 09:24:57 15

转载 docker-compose UnixHTTPConnectionPool

docker-compose 一直报UnixHTTPConnectionPool(host=‘localhost’, port=None): Read timed out. (read timeout=60)错误, 解决办法就是compse读取的时间太短了,默认60s, 设置时间长一点就好了解决办法:# 在配置文件执行 vim /etc/profile 添加这两句代码export DOCKER_CLIENT_TIMEOUT=500export COMPOSE_HTTP_TIMEOUT=500#

2021-09-23 09:20:08 9

转载 dpkg: error processing package xxx (--configure)的解决方法

# apt-get工具进行安装或卸载时提示“dpkg: error processing package xxx (--configure)”错误mv /var/lib/dpkg/info/ /var/lib/dpkg/info_old/mkdir /var/lib/dpkg/info/apt-get updateapt-get -f installmv /var/lib/dpkg/info/* /var/lib/dpkg/info_old/rm -rf /var/lib/dpkg/infom

2021-09-18 10:38:37 20

原创 python sql语句拼接 可以是单条 也可以是多条

sql 前半段pre_sql = "insert into ABC (a, b, c) values"sql 后半段sql_valus = str(tuple(['%s' for i in range(len(3))]))+","说明: 数字3 表示 插入的字段有三个 是根据sql前半段而定sql 值拼接pre_sql += str(sql_valus) %tuple(line)说明: tuple(line) 为 (1 ,2, 3)完整sql语句insert into ABC (

2021-09-13 17:42:12 61

原创 conda安装的虚拟环境 升级conda 和 升级pip

升级condaconda update -y -n base -c defaults conda升级 base环境的conda升级pip# 第一种 conda install -y pip && pip install --upgrade pip# 第二种python -m pip install --upgrade pip此种没试过 第一种肯定可行

2021-07-01 17:17:35 80

原创 R/library/grDevices/libs//cairo.so libXext.so.6: object file: No such file or directory

原因缺包装包centos yum install -y libXext libSM libXrenderubuntu apt install -y libxext6 libxext-dev or apt-get install -y libxext6 libxext-dev

2021-07-01 10:44:14 35

原创 R/library/grDevices/libs//cairo.so : libXrender.so.1 object file: No such file or directory

原因缺包装包centos yum install ubuntu apt-get install libfontconfig1 libxrender1 or apt install libfontconfig1 libxrender1

2021-07-01 10:25:39 35

转载 Linux编译安装中configure、make和make install各自的作用

Linux编译安装中configure、make和make install各自的作用这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC,并不是需要CC或GCC,它是个shell脚本。make是用来编译的,它从Makefile中读取指令,然后编译。make install是用来安装的,它也从Makefile中读取指令,安装到指定的位置。AUTOMAKE和AUTOCONF

2021-06-23 14:06:46 29

原创 基于ubuntu 18.04 dockerfile 文件内 判断 if

bash下的DockerfileFROM ubuntu:18.04RUN ln -fs /bin/bash /bin/sh #切换 sh 为bashRUN if [ -d "/opt/" ]; \ then \ export START='普通'; \ else \ echo "不存在"; \ fi \ && echo $START \ && if [ $HOME == '/root' ..

2021-06-15 11:45:17 129 1

原创 python 通过字符串文件内外调用函数

第一种 文件内调用 # -*- coding: utf-8 -*-import sysdef mode1(): return 68987987576# 在此文件中调用 mode1函数

2021-06-11 09:25:53 72 2

转载 Conda太慢?试试这个加速工具!

1. 简介Mamba(黑曼巴)专为加速Conda而生,其改写了Conda下载资源的固有方式,以多线程的方式对网络资源进行并行下载,从而大幅提升Conda效率2 Mamba的使用2.1 初识Mamba首先我们需要安装Mamba,既然是用来加速Conda,那么我们可以直接使用下列命令来安装Mambaconda install -c conda-forge mamba很有意思的是Mamba在执行命令时会先打印出logo等信息,对应其名称黑曼巴~  当然Mamba并不是重写了Con

2021-05-19 11:21:04 57

原创 k8s 监控 metric-server cpu 内存单位换算

计算方法:次方func newSuffixer() suffixer { sh := &suffixHandler{} // 内存单位计算 sh.binSuffixes.addSuffix("Ki", bePair{2, 10}) sh.binSuffixes.addSuffix("Mi", bePair{2, 20}) sh.binSuffixes.addSuffix("Gi", bePair{2, 30}) sh.binSuffixes.addSuffix("Ti", .

2021-05-12 14:59:14 109

转载 CURL 发送请求详解

CURL 发送POST请求curl -H "Content-Type: application/json" -X POST -d '{"user_id": "123", "coin":100, "success":1, "msg":"OK!" }' "http://192.168.0.1:8001/test"参数 内容-H 请求头-d POST内容-X 请求协议简介curl 是常用的命令行工具,用来请求 Web 服务器。它的名字就是客户端(client)的 URL 工具的意思。它的功能非

2021-04-14 10:47:54 69

转载 Linux服务器安装curl 报错解决

ubuntu/debian 系统安装方法: apt-get update -y && apt-get install curl -ycentos 系统安装方法: yum update -y && yum install curl -y以上安装不上可以参考: http://www.sxlog.com/jiaocheng/1098.html...

2021-04-13 11:44:49 120

转载 全国DNS服务器ip地址

公共 DNS 服务器 IP 地址名称DNS 服务器 IP 地址114 DNS 114.114.114.114 114.114.115.115阿里 AliDNS 223.5.5.5 223.6.6.6百度 BaiduDNS 180.76.76.76DNSPod DNS+ 119.29.29.29 182.254.116.116CNNIC SDNS 1.2.4.82 10.2.4.8oneDNS 112.124.47.271 14.215.126.16DNS 派电信/移动.

2021-04-02 11:16:25 201

原创 linux docker-compose 二进制安装

curl -L https://github.com/docker/compose/releases/download/1.25.5/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-composeln -s /usr/local/bin/docker-compose /usr/bin/docker-composedocker-compose .

2021-04-01 10:26:15 185

转载 Docker 指定数据储存目录

Docker 指定储存目录(原参数 --graph 已经失效 。)方法一在 Docker 配置文件中配置 /etc/docker/daemon.json下面的命令是在 daemon.json 文件没有内容的时候进行添加的。如果有内容,就需要cat << EOF >>/etc/docker/daemon.json{ "data-root": "/mnt/docker-data"}EOFsudo systemctl daemon-reloa...

2021-03-18 17:22:14 119

转载 pandas 和 xlrd 读取xlsx文件报 xlrd.biffh.XLRDError: Excel xlsx file; not supported

原因是最近xlrd更新到了2.0.1版本,只支持.xls文件。所以pandas.read_excel(‘xxx.xlsx’)会报错。重新安装 xlrd 就能读取了pip install xlrd==1.2.0

2021-03-11 18:18:46 163

转载 grpcio 安装 distutils.errors.CompileError: command ‘gcc‘ failed with exit status 1

pip3 install --upgrade pippython3 -m pip install --upgrade setuptoolspip3 install --no-cache-dir --force-reinstall -Iv grpcio==1.23.0转载:https://stackoverflow.com/questions/56357794/unable-to-install-grpcio-using-pip-install-grpcio

2021-03-11 09:14:25 1315

转载 nvidia-cuda-mps-control mps 参数介绍

1. 功能nvidia-cuda-mps-control - NVIDIA CUDA Multi Process Service management program2. 启动nvidia-cuda-mps-control -d3. 描述MPS is a runtime service designed to let multiple MPI processes using CUDA to run concurrently on a single .

2021-02-24 14:26:35 477

转载 shell 字符串相关判断

shell 字符串相关判断 #!/usr/bin/env bash set -e a="abc" b="efg" if [ $a = $b ]; then echo "$a = $b : a 等于 b" else echo "$a = $b: a 不等于 b" fi if [ $a != $b ]; then echo "$a != $b : a 不等于 b" else echo "$a != $b: a 等于 b" fi if

2021-01-27 11:06:45 63

转载 shell bash 判断文件夹或文件是否存在

shell 判断文件夹或文件是否存在判断文件夹是否存在 if [ -d "/data/" ];then echo "文件夹存在" else echo "文件夹不存在" fi判断文件是否存在 if [ -f "/data/filename" ];then echo "文件存在" else echo "文件不存在" fi示例1:文件夹不存在则创建 if [ ! -d "/data/" ];then mkdir /data else echo "文件夹

2021-01-27 10:46:57 126

转载 简单粗暴 github clone 加速

本方法亲测只需要1s,能够提高10倍速度访问github以及clone项目,并且不需要借助其他类似gitee等外部网站。( 送我上高赞 !!)假设我们需要访问一个github的repo:https://github.com/graykode/nlp-tutorial我们可以看到访问的网站的速度为4s多并且clone其的项目: https://github.com/graykode/nlp-tutorial.git我们可以看到clone的速度为20kb/s,这个速度真的不能忍解决方

2021-01-22 10:39:36 89

原创 docker支持GPU镜像之tensorflow 1.14.0

查找合适的GPU基础镜像本示例 cuda 为 10.0支持英伟达驱动镜像链接安装支持python运行环境本示例使用Miniconda[清华源的下载地址](https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/)

2021-01-15 11:21:40 319 3

原创 tensorflow 和 pytorch判断GPU是否可用 及 GPU信息

import tensorflow as tf# 判断GPU是否可用flag = tf.test.is_gpu_available()if flag: # 获取GPU信息 print("CUDA可使用") gpu_device_name = tf.test.gpu_device_name() print("GPU型号: ", gpu_device_name)else: print("CUDA不可用")import torchflag = torch..

2020-12-25 15:29:33 209

原创 docker 在线安装 gpu支持 nvidia (未完待更新)

下载源 # 阿里源 # step 1: 安装必要的一些系统工具 yum install -y yum-utils device-mapper-persistent-data lvm2 # Step 2: 添加软件源信息 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # Step 3: 更新 yum makeca...

2020-12-17 13:56:48 75

转载 django python models AES pycrypto 自动加解密

使用Django models 的特性给我们提供方便的AES加密、解密思路:django Field 在存入 Mysql 时会调用 get_prep_value 方法,从 Mysql 中取数据时会调用 to_python 方法,根据这个逻辑,我们就有方案啦。1)存数据时加密(重写 get_prep_value方法);2)取数据时解密(重写 to_python 方法)。准备AES 包安装pip install pycryptoExample Demo# coding: .

2020-12-16 14:03:38 129

原创 Failed to establish a new connection: [Errno -2] 未知的名称或服务‘

可能是DNS未配置配置办法:介绍一种# 打开文件sudo vim /etc/resolv.conf# 插入以下两句 nameserver 8.8.8.8 nameserver 114.114.114.114 # 保存(不需要重启网络或服务器)

2020-12-15 17:33:34 572

转载 with 操作mysql数据库

from pymysql import * class Database(object): def __init__(self,name,password): # 创建self.conn连接 self.conn = connect(host='localhost',port=3306,database=str(name),user='root',password=str(password),charset='utf8') #...

2020-12-14 11:09:17 141

转载 获取shell文件路径方法

# 需要用cd和pwd命令配合获取脚本所在绝对路径,正确的写法是这样的,CURRENT_DIR=$(cd "$(dirname "$0")";pwd)# 或下面一种写法CURRENT_DIR=$(dirname $(readlink -f "$0"))

2020-12-07 10:30:37 706

原创 Centos 7 在线制作 离线安装Docker CE 19.03.12(比之前的方法简单)

1. 获取安装包及依赖1.1 首先准备一个与目标系统相类似的联网系统1.2 安装必要依赖sudo yum install -y yum-utils device-mapper-persistent-data lvm21.3 添加Docker源# docker官网源sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo# 阿里源 sudo yum-conf

2020-12-04 13:51:41 167

原创 Error: 400 Client Error: Bad Request (“Unknown runtime specified nvidia“)

1. 检查daemon.json文件是否配置nvidia驱动vim /etc/docker/daemon.json { "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": []

2020-12-04 11:55:54 199

转载 centos7安装 显卡驱动 cuda

一、系统及显卡系统:centos7.3 64位显卡:Tesla V100二、安装过程1. 下载驱动从NVIDIA官网https://www.geforce.cn/drivers选择相应的驱动并下载,下载下来是.run文件。2. 安装依赖要装的三个依赖分别是,gcc、kernel-devel、dkms,其中需要注意的是,kernel-devel的版本需要与当前内核的版本一致,不然后面会出现找不到文件的情况。查看我的内核版本:[root@host8 ...

2020-12-03 10:21:17 261

原创 chrome 搜索结果 新的标签页打开

打开网址:https://www.google.com.hk/preferences 勾选 “结果打开方式”

2020-12-02 11:41:49 106

原创 佛起十二因缘

十二因缘又称十二有支,这十二支是无明、行、识、名色、六处、触、受、爱、取、有、生、老死。佛陀推理过程:是什么导致了老和死,老和死是因为什么而有的呢?有生便有老和死,老和死是因为生才有的,或者说是缘于生才有的。有什么便有生,生又缘于什么呢?有有便有生,生缘于有。有什么便有有,有又缘于什么呢?有取便有有,有缘于取。有什么便有取,取缘于什么呢?有爱便有取,取缘于爱。有什么便有爱,爱缘于什么?有受便由爱,爱缘于受。有什么便有受,受缘于什么?有触便有受,受缘于触。有什么便有触,触缘于什

2020-11-17 16:21:28 125

原创 python 图片转矩阵

import base64import cv2import numpy as npwith open('2020.jpg', "rb") as image_file: encoded_image = base64.b64encode(image_file.read())encoded_image = base64.b64decode(encoded_image)nparr = np.fromstring(encoded_image, np.uint8)print(nparr)im.

2020-11-02 17:01:41 242

原创 (pytorch)_torchtext.so: undefined symbol: _ZN3c104impl23ExcludeDispatchKeyGuardC1ENS_14DispatchKeyS

torchtext安装包 与 pytorch对应版本https://github.com/pytorch/text/

2020-11-02 15:26:04 1508

转载 VScode Remote 远程开发

简介最近VScode发布了远程编程与调试的插件Remote Development,使用这个插件可以在很多情况下代替vim直接远程修改与调试服务器上的代码,同时具备代码高亮与补全功能,就和在本地使用VScode一样。终于不用在服务器端翻来覆去的配置vim插件了。配置的过程很简单,本文介绍如何通过ssh的方法链接到远程机器上,另外插件还提供了连接到WSL和容器的功能。远程配置过程 远程主机安装ssh-server 本地主机安装ssh-client 根据本地..

2020-10-15 10:11:18 116

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除