东华果汁哥-CSDN博客

原创【python selenum渲染工具】driver = webdriver.Chrome()报错

driver = webdriver.Chrome()是因为没有chromedriver.exe这个文件解决方法：（1）下载一个chromedriver.exe 下载的链接为：官方下载网站点击第一个，点进去（浏览器要跟这个版本对应上）windows 只有一个32位的，没关系，32位的也可以用。下载下来解压，里面有一个 chromedriver.exe文件，将这个文件放在你运行pthon 安装路径的Scripts下面如我的是这个路径：D:\Programs\Python\Python3.

2021-12-02 10:44:55 1129

原创【mysql 自启动】linux下mysql监控进程自启动

zepplin 监控进程自启动#! /bin/bashcmd1=`jps |grep ZeppelinServer`if [ -z "$cmd1" ];then cd /opt/zeppelin-0.8.1/bin/ sh zeppelin-daemon.sh start fi*/1 * * * * /usr/bin/sh /opt/zeppelin-0.8.1/bin/restart.shmysql 监控进程自启动#! /bin/bashcmd1=` ps -ef|g

2021-11-23 16:24:55 710

原创【linux 进程监控】linux下监控进程的shell脚本

方法1：设置重启restart.sh脚本，crontab 设置定时任务,定时重启。restart.sh#!/bin/shps -ef | grep pictureTiming | awk '{print $2}'|xargs kill -9ps -ef | grep kilnheadRecognition | awk '{print $2}'|xargs kill -9ps -ef | grep beltLossCoal | awk '{print $2}'|xargs kill -9nohu

2021-11-23 10:26:00 2354

原创【linux 开机自启动】linux开机自启动骚操作

linux 如何将一个sh脚本设置开机自启动，防止停电，必须手动重启服务呢。下面一起来学习下。# 进入目录cd /etc/rc.d/init.d# 创建shell 脚本，编辑touch autoStart.shvim autoStart.sh加入需要启动的命令行。配置开机启动项chkconfig --add autoStart.shchkconfig autoStart.sh on以上是一个最基本的开机启动脚本。下面举个例子。比如我们需要设置mysql 服务开机自启动。mys

2021-11-19 21:06:42 1170

原创【linux 释放内存】linux释放内存骚操作

Linux释放内存的命令：syncecho 1 > /proc/sys/vm/drop_cachesdrop_caches的值可以是0-3之间的数字，代表不同的含义：0：不释放（系统默认值）1：释放页缓存2：释放dentries和inodes3：释放所有缓存释放完内存后改回去让系统重新自动分配内存。echo 0 >/proc/sys/vm/drop_cachesfree -m #看内存是否已经释放掉了。如果我们需要释放所有缓存，就输入下面的命令：echo 3 &g

2021-11-19 08:55:42 1596

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 一些常用低阶API编程

在tensorflow 2.0中定义了很多低阶API,在日常编程中除了需要用到高阶API tf.keras 之外，也需要用到一些低阶API,下面一起来学习吧。1、tf.constant 提供了常量的申明功能。# -*- coding: utf-8 -*-import tensorflow as tfa=tf.constant(10)print(a.numpy())运行结果：10Process finished with exit code 02、tf.Variable 提供了变量的

2021-11-10 21:56:07 880

原创深度学习走进tensorflow2.0】tensorflow2.0 保存和加载模型

tensorflow2.0 保存模型方式主要有4种，下面一一介绍下。1、保存全模型，权重和模型框架一起保存H5格式model.save('the_save_model.h5')new_model = keras.models.load_model('the_save_model.h5')2、将模型保存为SavedModel格式，python，java 均可调用keras.experimental.export_saved_model(model, 'saved_model')new_model

2021-11-10 18:17:45 2564

原创【python ascii码转中文】1分钟教你编码转换

核心：ascii 转中文print(name.encode().decode('unicode_escape'))一开始发起请求：information = requests.get(information_url,headers=header).textprint(information)出现乱码，经过查看发现是ascii 码information信息如下：jQuery191040122200903040794_1635653294983({"status":1,"err_code":

2021-11-01 12:16:29 5778

原创【python 下载神器】你应该知道的下载神器you-get

you-get是基于python的下载工具，解析的网站有很多，可以下载各大网站的视频、图片和音乐。you-get是一款支持众多网站视频下载的神器，既可以在命令提示符中操作，也可以在Python代码中运行。功能非常强大。如果你电脑装了python,那么只需要安装如下依赖包即可以。安装包：pip install you-get这个工具支持下载的视频有抖音，斗鱼，哔哩哔哩，豆瓣，百度视频,优酷，腾讯视频，新浪视频等等下面我们来具体演示下操作：1、下载bilibili 视频C:\Users\lai

2021-08-22 11:47:45 1524 1

原创【linux 更改网络ip】centos7.4 五分钟教你快速修改网络ip

linux 下常用命令简单使用方法：ifconfig、ping、netstat1、ifconfig 表示查看本机的所有网卡信息包含IP信息，类似windows下的ipconfig(model) [root@HK-AI ~]# ifconfigens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.16.1.224 netmask 255.255.240.0 broadcast 172.1

2021-08-21 13:45:30 1705

原创【控制算法 PID】快速掌握PID算法

控制系统通常根据有没有反馈会分为开环系统和闭环系统，在闭环系统的控制中，PID算法非常强大，其三个部分分别为；P：比例环节；I：积分环节；D：微分环节；PID算法可以自动对控制系统进行准确且迅速的校正，因此被广泛地应用于工业控制系统。PID算法是工业应用中最广泛算法之一，在闭环系统的控制中，可自动对控制系统进行准确且迅速的校正。PID算法已经有100多年历史，在四轴飞行器，平衡小车、汽车定速巡航、温度控制器等场景均有应用。PID算法：就是“比例（proportional）、积分（integral）

2021-08-12 10:45:56 1056

原创【centos docker】linux下玩docker教程1

docker 刀客安装教程1、linux centos7安装方法一：>>sudo wget -qO- https//get.docker.com | sh 非root用户运行docker 需要加入docker用户组，执行以下命令：>>sudo usermod -aG docker imooc（用户名）方法二：curl -fsSL https://get.docker.com -O get-docker.shsudo sh get-docker.sh2、

2021-08-03 16:24:35 151 2

原创【navicat 连接错误】2059 - authentication plugin ‘caching_sha2_password‘的解决方法

Navicat 连接MySQL数据库出现错误：2059 - authentication plugin 'caching_sha2_password’的解决方法错误原因：MySQL新版本（8以上版本）的用户登录账户加密方式是【caching_sha2_password】，Navicat不支持这种用户登录账户加密方式。解决方式：进入mysql 命令界面：mysql> show variables like 'default_authentication_plugin';+-----------

2021-08-02 16:49:20 3323 2

原创【对象存储 minio】linux 单机版minio安装教程

一、minio是什么？MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。二、minio 如何安装？详细请戳这里：官方中文教程，具体执行步骤如下：【单机版】centos7.4

2021-07-15 20:39:46 1134

原创【anaconda 环境搭建】环境搭建python快速30分钟

1、下载anacondahttps://repo.anaconda.com/archive/index.html选择下载 Anaconda3-2019.10-Linux-x86_64.sh2、安装linux 工具4个，上传，下载，解压，打包yum install zipyum install unzipyum install lrzszYum install wget3、rz Anaconda3-2019.10-Linux-x86_64.sh4、安装 bash Anaconda3-201

2021-06-08 11:13:44 1160

原创【python 调用webserver】python请求调用webservices接口方法

python webservice接口调用，可以用requests包发起post请求方式，此方法稍微区别是data是XML格式数据。config.pyfrom hashlib import md5import datetime# 请求地址url="http://10.66.3.19:6039/BaseDataService.asmx"# XML请求参数#时间戳# timeStamp=datetime.datetime.now().strftime('%Y%m%d%H%M%S')tim

2021-04-12 18:52:16 1430

原创【linux mysql】mysql高版本8.0.23版本密码修改总结

8.0 了，由于增加了一些安全策略等限制，所以修改用户密码会稍微麻烦些。下面是针对这个高版本的总结。一、配置/etc/my.cnf 文件免密码登录mysqlvim /etc/my.cnf# 增加这两行命令skip-grant-tablesdefault-authentication-plugin=mysql_native_password重启启动mysqlservice mysqld restart之后不需要输入密码，直接进入mysql 重置密码，输入密码时按空格键[root@da

2021-04-09 12:35:00 2300

原创【python 连接 Greenplum】python 连接Greenplum数据库

Python和PostgrelSQL进行交互，需要安装三方库，PostgrelSQL跟mysql 的用法类似pip install psycopg2例子：import psycopg2 import psycopg2.extras conn = psycopg2.connect(host='localhost', port=6432, user='postgres', password='root', database='mytest') cursor = co

2021-04-08 12:18:08 661

原创【Docker Mysql 安装】1分钟快速安装mysql

为了能够快速安装mysql，我们使用docker 安装。主要步骤如下：1、安装docker,使用国内 daocloud 一键安装命令curl -sSL https://get.daocloud.io/docker | sh开机自启动：systemctl enable docker启动服务:docker:systemctl start docker查看docker是否启动输入命令“ps -ef|grep docker”或“netstat -lnpe|grep docker”syst

2021-04-08 11:29:06 203

原创【greenplum_installer】GP一键安装教程

本文档编写的目的是为了描述Greenplum分布式MPP数据库的详细安装步骤与过程。安装文档：https://gitee.com/inrgihc/greenplum_installer/wikis/pagesgp集群安装教程主要步骤如下：1、准备服务器服务器需要准备至少4台服务器，即：master与standby各独立一台，其他节点均为segment。服务器的参考配置如下：硬件名称物理机或虚拟机服务器CPU 建议至少：2核内存建议至少：4G硬盘建议至少：20G网卡千兆网卡操

2021-04-08 10:55:47 698

原创【python 连接sqlserver】Python连接SQL Server数据库

1、在python中安装pymssqlpip install pymssql2、连接代码：import pymssqlconn=pymssql.connect(host='127.0.0.1',user='user',password='password',database='MyDB')cur=conn.cursor()cur.execute('select * from table1')#如果是插入、删除、更新语句切记要写提交命令con.commit()print (cur.fet

2021-04-07 13:32:10 860

原创【mysql zeppelin】zeppelin 大数据可视化分析工具安装教程精要

Apache Zeppelin是一款大数据分析和可视化工具，可以让数据分析师在一个基于Web页面的笔记本中，使用不同的语言，对不同数据源中的数据进行交互式分析，并对分析结果进行可视化的工具。下面我们主要讲解如何安装和配置的精要部分。一、zeppelin 安装和配置登录用户官方网站：https://zeppelin.apache.org/下载地址：https://zeppelin.apache.org/download.html下载最新的zeppelin 0.9.0 版本手动下载或者命令行

2021-03-24 20:54:29 446 1

原创【linux 防火墙设置】3条命令关闭linux防火墙

检查防火墙是否开启firewall-cmd --stateruning是防火墙运行中如果 not runing的话不用次步骤防火墙配置说明:防火墙中有一个配置文件,表示当Linux系统启动时防火墙应该如何操作!!!需求: 告诉linux系统以后开机不需要启动防火墙命令:systemctl disable firewalld.service手动关闭防火墙说明:通过命令手动将防火墙关闭命令:systemctl stop firewalld.service...

2021-03-10 09:57:55 145

原创【mysql 连接】linux访问windows 本地安装的mysql

1、mysql 先授予所有权限给其他远程机器：grant all privileges on *.* to root@'%' identified by "密码";(授予权限)flush privileges;（刷新）2、你的linux要有mysql 客户端，centos linux 系统执行如下命令安装mysql 客户端yum install mysql3、你的windows要开放对应的端口（一般mysql的是 3306），提供ip（主机名），实例名，用户+密码4、linux下使用连

2021-03-09 11:33:26 1530

原创【python 求解方程组】10分钟教你python求解多元一次方程组

python 求解三元一次方程组，三元一次方程组为：k00+k11*2+k22*5=11k00+k11*7+k22*6=2k00+k11*6+k22*9=7demo：from sympy import *k00 = Symbol('k00')k11 = Symbol('k11')k22 = Symbol('k22')# 解三元一次方程f0=k00+k11*2+k22*5-11f1=k00+k11*7+k22*6-2f2=k00+k11*6+k22*9-7r = solv

2021-03-04 15:39:08 3655 2

原创【linux history】谁在什么时间动了我的服务器

Linux系统下可通过history命令查看用户所有的历史操作记录，在安全应急响应中起着非常重要的作用，但在未进行附加配置情况下，history命令只能查看用户历史操作记录，并不能区分用户以及操作时间，不便于审计分析。普通：只有序列，命令没有时间，用户，无从得知谁在什么时间操作了什么命令。加入时间。vim /etc/profileexport HISTTIMEFORMAT='%F %T 'source /etc/profile通过设置export HISTTIMEFORMAT=’%F %T

2021-03-03 11:05:18 193

原创【技术美团】美团2020技术年货，1300+页电子书

无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程2020年，美团技术公众号发布了60多篇技术文章以及10多篇国际顶会论文，美团将它整理成一本厚达1300多页的电子书。大家可以去下载看看。这本电子书内容覆盖前端、后台、算法、数据、运维、安全等多个领域，希望对同学们的工作和学习有所帮助，如下图。获取地址：2020美团技术年货-合集：http://dpurl.cn/uu

2021-03-03 10:22:56 928

原创【python socket】基于TCP协议的socket

tcp是基于链接的，必须先启动服务端，然后再启动客户端去链接服务端服务端：import socketsk = socket.socket()#把地址绑定到套接字sk.bind(('127.0.0.1',8897))#监听链接sk.listen()#接受客户端链接conn,addr = sk.accept()# 接收客户端信息ret = conn.recv(1024)#打印客户端信息print(ret.decode('utf-8'))# 向客户端发送信息conn.send(b.

2021-03-02 14:24:27 186

原创【python protobuf】python将protobuf序列化与反序列化byte字节流

如何protobuf序列化数据，见上一篇：基于protobuf协议将json转化为pb string，将pb string转成json下面这篇文章介绍如何序列化与反序列化 byte字符串，跟上一篇文章稍微不一样。from example import openrtb_pb2from google.protobuf import json_formatimport jsonimport datetimedef pb_to_json(pbStringRequest): """将pbstri

2021-03-01 17:08:47 5144

原创【大数据 kafka】如何在Windows上安装Kafka

在本文中，我们将学习如何在Windows上安装Kafka。有两种方法可以在Windows上安装Kafka。一种方法是，我们可以在Windows上安装docker，然后在该docker中运行Kafka容器。我们将在Windows上安装独立版本的Kafka。首先，我们需要JRE（Java运行时环境）来运行Kafka服务器。您可以检查如何在Windows上安装Java。如果您已经安装了JRE，则可以继续。1、Zookeeper安装：我们需要运行一个Zookeeper服务器来运行Kafka。以下是在Windo

2021-03-01 10:45:46 567 1

原创【大数据 kafka】kakfa中常用的几个术语

kafka 常用的几个术语了解一下。kafka broker：运行kafka server的服务被称为broker,它主要用于接手topic消息，管理topic,持久化和存储topic数据，kafka审计，kafka权限管理等。topic:消息主题，每个topic唯一，可存储和传输数据。(MQ中通常有Topic和Queue 2中消息传输方式,topic:发布/订阅（publish/subscribe，简称pub/sub）Topic消息传递模型,支持一条消息发送多个消费组/消费者;queue：点对点（po

2021-03-01 10:15:45 291

原创【python kafka】python将protobuf序列化数据写入kafka

如何protobuf序列化数据，见上一篇：【python protobuf序列化】python中如何protobuf与json互相转换下面这篇文章研究如何将json序列化之后protobuf格式之后，按照byte字节流的方式写入kafkafrom kafka import KafkaProducerimport jsonimport datetimefrom example import openrtb_pb2from google.protobuf import json_formatim

2021-02-24 15:28:42 1481 2

原创【python protobuf序列化】python中如何protobuf与json互相转换

一、protobuf下载安装下载地址：https://github.com/protocolbuffers/protobuf/releases电脑系统是windows10, 下载protoc-3.15.2-win64.zip 解压到相应的目录D:\Program Files下，然后配置环境变量pathD:\Program Files\bin 加入path二、新建目录example新建文件openrtb.proto 内容如下：syntax = "proto3";package prot

2021-02-24 14:55:29 9681 2

原创【python kafka】python 连接kafka速成

Python Kafka Client有三种方式：pykafka、kafka-python 和 confluent-kafka，具体介绍见官网：pykafka： https://pypi.org/project/pykafka/kafka-python： https://pypi.org/project/kafka-python/confluent_kafka： https://pypi.org/project/confluent-kafka/安装包：pip install pykafkapi.

2021-02-23 15:46:04 895

原创【linux 命令】放弃 ifconfig，拥抱 ip 命令

在很长一段时间内， ifconfig 命令是配置网络接口的默认方法。它为 Linux 用户提供了很好的服务，但是网络很复杂，所以配置网络的命令必须健壮。 ip 命令是现代系统中新的默认网络命令，在本文中，我将向你展示如何使用它。一、安装 ipip 命令包含在 iproute2util 包中，它可能已经在你的 Linux 发行版中安装了。如果没有，你可以从发行版的仓库中进行安装。二、查看网口和 IP 地址如果你想查看主机的 IP 地址或网络接口信息， ifconfig （不带任何参数）命令提供了一个

2021-02-21 08:58:38 442

原创【强化学习 RL】强化学习的应用领域

在强化学习中，我们使用奖惩机制来训练agents。Agent做出正确的行为会得到奖励，做出错误的行为就会受到惩罚。这样的话，agent就会试着将自己的错误行为最少化，将自己的正确行为最多化。1、强化学习在新闻推荐领域的运用在新闻推荐领域，用户的喜好不是一成不变的，仅仅基于评论和（历史）喜好向用户推荐新闻无法一劳永逸。基于强化学习的系统则可以动态跟踪读者反馈并更新推荐。构建这样一个系统需要获取新闻特征、读者特征、上下文特征和读者阅读的新闻特征。其中，新闻特征包括但不限于内容、标题和发布者；读者特征是指读

2021-01-27 19:00:31 1886

gbdt和xgboost算法详解

空空如也