- 博客(30)
- 收藏
- 关注
RSS订阅原创 TensorFlow
计算图 (Computation Graph)：它是一系列节点 (Node) 和边 (Edge) 的有向图，表示计算过程。例：用python的Tensorflow来写一个脉冲神经网络，权重矩阵使用忆阻器模型，神经元采用LIF模型，图片边缘特征提取的脉冲神经网络，输出原始图片与边缘特征图，输入的图片为MHW.jpg。张量 (Tensor)：TensorFlow 的核心数据结构，它是一个多维数组，可以是标量 (0-D)、向量 (1-D)、矩阵 (2-D) 或更高维的数组。
2023-09-11 17:08:55
317
原创 访问k8s集群出现Unable to connect to the server: x509: certificate is valid for xxx, not xxx问题解决
上边的命令中${apiserver-ip1} ${apiserver-ip2} ${apiserver-ip3}根据自己集群的实际情况进行调整。如果需要增加更多的地址，可以继续在命令里增加 --apiserver-cert-extra-sans ${apiserver-ip}参数。此时可以看到生成了新的apiserver证书。删除旧apiserver证书。生成新apiserver证书。查看apiserver证书。证书中没有所需的ip地址。重启apiserver。
2023-09-11 16:59:42
320
原创 vbox 扩容
VBoxManage modifyhd "/Users/chenxin/VirtualBox VMs/2/hadoop161/hadoop161 副本-disk1.vdi" --resize 204800
2020-09-11 08:41:40
259
原创 Mac下python读取文件文件找不到
python读取数据文件以进行下一步分析我一般用pandas，代码很简单import pandas as pdimport numpy as npdata_file = pd.read_csv(file_name)我遇到了一个问题文件路径选择mac不存在地址栏，有时候你去获取文件路径粘贴过来打开会报错File b’***.csv’ does not exist而你不想每次要去找数据文件路径，最简单的办法是先获取你在编辑的Ipython notebook的路径，然后把数据文件放在该路径下，到时
2020-08-28 10:05:16
4316
2
原创 Kafka安装配置启动 从flume 写到kafka
kafka-2.11-2.0.0 安装配置vi ./server.propertiesbroker.id=0advertised.listeners=PLAINTEXT://192.168.153.141:9092log.dirs=/opt/bigdata/kafka211/kafka-logszookeeper.connect=192.168.153.141:2181delete.topic.enable=true// 配置环境变量export KAFKA_HOME=/opt/bigda
2020-08-19 19:07:04
163
原创 Kafka查看消费信息报错
打开kafka消费者端这个是0.9之后的打开方式/usr/java/kafka_2.12-2.2.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning这个是0.9之前的打开方式/usr/java/kafka_2.12-2.2.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic tes
2020-08-17 19:26:59
418
原创 flume hdfs
user_friends.sources = userFriendsSourceuser_friends.channels = userFriendsChanneluser_friends.sinks = userFriendsSinkuser_friends.sources.userFriendsSource.type = spooldiruser_friends.sources.userFriendsSource.spoolDir = /opt/kb07file/flumeFile/user_
2020-08-17 14:54:03
103
原创 Anaconda3安装以及Jupyter和pyspark集成 Python 安装
Anaconda3安装以及Jupyter和pyspark集成1.在root用户下(不要用普通用户,麻烦),全部复制粘贴过去,一次性安装即可.yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-dev
2020-08-10 18:52:04
801
原创 scala
了解Java Lambda表达式函数式接口一种只含有一个抽象方法声明的接口可以使用匿名内部类来实例化函数式接口的对象通过Lambda表达式可以进一步简化代码Lambda语法(parameters) -> expression(parameters) ->{ statements;...... }掌握Scala函数编写函数式编程：函数是Scala的核心方法是类的一部分，属于定义在类中的函数函数定义def 函数名([参数列表])[:返回类型]={ 函数体
2020-08-04 08:50:32
457
原创 把文件转存hbase
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns="HBASE_ROW_KEY,base:username,base:birthday" userinfos file:///root/data/data1.csv
2020-07-15 16:40:25
464
原创 hive 函数
数学函数round(DOUBLE a).返回对a四舍五入的BIGINT值select round(10.235)10round(DOUBLE a, INT d)返回DOUBLE型d的保留n位小数的DOUBLW型的近似值select round(5.635,2)5.64floor(DOUBLE a)向下取整，最数轴上最接近要求的值的左边的值 如：6.10->6 -3.4->-4floor(-10.2)-11ceil(DOUBLE a)...
2020-07-14 19:45:33
436
原创 hive 建库建表插入数据
hive 建库建表插入数据先上传文件sftp> put /Users/chenxin/Downloads/HQL50/HQL50/score.txt /root/data/hql50sftp> put /Users/chenxin/Downloads/HQL50/HQL50/teacher.txt /root/data/hql50 sftp> put /Users/chenxin/Downloads/HQL50/HQL50/course.txt /root/data/hql50
2020-07-14 19:35:09
1350
原创 hdfs文件没有权限
Error while compiling statement: FAILED: RuntimeException Cannot create staging directory ‘hdfs://192.168.56.161:9000/hdfs/20200707/demo2/.hive-staging_hive_2020-07-13_23-36-51_696_8667169010962623757-2’: Permission denied: user=anonymous, access=WRITE, in
2020-07-14 09:12:10
1969
原创 hive 函数
数学函数round(DOUBLE a).返回对a四舍五入的BIGINT值select round(10.235)10round(DOUBLE a, INT d)返回DOUBLE型d的保留n位小数的DOUBLW型的近似值select round(5.635,2)5.64floor(DOUBLE a)向下取整，最数轴上最接近要求的值的左边的值 如：6.10->6 -3.4->-4floor(-10.2)-11ceil(DOUBLE a)...
2020-07-13 22:19:22
405
原创 正则表达式
正则表达式\d 代表一个数字 0-9\D 代表一个非数字\w 代表一个字符 0-9 a-z A-Z\W 代表一个非字符. 代表任意一个字符\s 代表一个空格\. 代表一个.() 字符串选择器 (abc|cde|edf)[] 字符选择器 -｜ ， [a-z] a到z的任意一个字符 [a|b|c] [abc] abc三个中的一个字符 [a,b,c] 同上{} 修饰符 通常修饰前面一个正则 \d{3,4} 最少3个数字 最多4个数字
2020-07-13 19:18:54
372
原创 单机无密登录
生成密钥ssh-keygen -t rsa -P ""复制密钥到公池cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 赋权限chmod 600 /root/.ssh/authorized_keys
2020-07-10 17:51:22
903
原创 jdk 、jre 、hadoop、yarn、hive 、zookeeper、hbase、sqoop 、spark、anaconda、flume、Kafka 配置文件
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROLexport JAVA_HOME=/opt/install/jdk8export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jarexport JRE_HOME=$JAVA_HOME/jreexport PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/
2020-07-06 20:07:03
445
原创 最全hive安装
hive安装安装好hadoop、zookeeper接下来安装mysqlmysql查看是否有db数据库rpm -qa| grep mariadb删除rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64先下载wgetyum install -y wget下载mysql的repo源wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql 包
2020-07-06 19:27:21
469
原创 Hadoop下hive安装配置
hive安装确保虚拟机上有mysql1 、将hive放入opt中解压tar -zxf hive-1.1.0-cdh5.14.2.tar.gz2、配置环境变量export HIVE_PATH=/opt/hiveexport PATH=$PATH:$HIVE_PATH/bin保存退出后记得source /etc/profile 使刚刚配的环境变量生效3、然后到hive的conf文件夹中配置cd /opt/hive/conf 1、修改hive-env.sh文件没有hive-env.sh文件
2020-06-29 19:05:56
5372
原创 Hadoop下 hbase安装
一 、将hbase文件放入opt中解压tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz二、修改文件进入hbase文件下conf文件cd /opt/hbase/conf1、修改hbase-env.shvi hbase-env.sh在末尾加入export JAVA_HOME=/opt/jdk1.8.0_1022、修改hbase-site.xmlvi hbase-site.xml<configuration><property> <n
2020-06-29 00:21:03
496
原创 Hadoop下zookeeper安装
zookeeper安装1 、将zookeeper 放入opt中解压tar -zxf zookeeper-3.4.6.tar.gz2、cd命令进入conf文件夹cd /opt/zookeeper/conf将zoo_sample.cfg 名称改为zoo.cfgmv zoo_sample.cfg zoo.cfg然后修改里面东西vi zoo.cfg# The number of milliseconds of each ticktickTime=2000maxClientCnxns=0# T
2020-06-29 00:02:01
458
原创 hadoop安装配置及集群搭建
hadoop安装配置及集群搭建1、安装centos7.0见https://blog.csdn.net/xin980724/article/details/1068412282、环境配置关闭防火墙停止防火墙服务systemctl stop firewalld禁用防火墙，下次开机启动后防火墙服务不再启动systemctl disable firewalld免密登录见https://blog.csdn.net/xin980724/article/details/1068595753、配置had
2020-06-25 12:12:14
514
原创 elasticsearch
elasticsearchput 增加/改变put /索引/类型put /索引/类型/1{ json串}PUT abc/article/2{"id":"1","title":"标题1","content":"content"}post 查询/改变post /索引/类型/1/_update{ “doc”:{ 列名：值//精准修改其中某个列 }}POST abc/article/2/_update{ "doc": {"content":"conte
2020-06-23 20:10:28
379
原创 bash shell 脚本
bash shell 脚本中变量无法存储布尔值，布尔值只能用于条件判断条件中非空都为true （除了false）流程控制语句：if语句：ifthen ……elsefiif-else-if语句ifthen ……elifthen……fifor 循环：for((a=1;a<=5;a++))do……done增强for循环for a in parm1 parm2 parm3 ……do ……donewhile 循环a=1while [a -lt
2020-06-22 19:45:38
406
原创 ELK集群搭建
ELK集群搭建一、复制虚拟机1、先关闭虚拟机 右击复制 修改名称 mac地址选择 为所有网卡重新生成mac地址 复制两个2、打开复制到虚拟机 输入用户名 密码登录 复制到虚拟机用户名密码和原虚拟机一样 输入 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 修改IP地址即可 就修改最后一行修改完成后记得使用source /etc/profile命令时配置生效3、使用本机连接软件连接虚拟机二、免密登录配置1、ssh-keygen -t rsa -P
2020-06-19 16:44:56
532
原创 ELK的安装配置
ELK的安装配置一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)下载：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x6
2020-06-18 19:39:15
465
原创 linux环境配置
Linux系统软件安装及项目发布yum命令：搜索命令yum search 命令下载并安装yum install -y 应用名卸载yum remove 应用名rpm 命令 需要先有rpm包安装rpm -ivh 安装包卸载rpm -e 应用 [--nodeps]查看 rpm -qa ｜ grep -i 应用名安装mysql 步骤上传rpm包yum 下载并安装依赖包 net-tools、 perl、autoconfrpm -ivh MySQL-client-...
2020-06-17 19:24:07
452
原创 linux入门
Linux 常用命令（centos7)一、目录操作：1、结构： /系统根目录、～当前用户家目录、其他普通目录2、切换目录：cd 目录-绝对路径、相对路径（…/）返回上一级3、linux快捷键tab 自动补全ctrl c 中断当前执行的命令ctrl d 退出系统，相当于logoutctrl a 将光标定位到行的最前端ctrl e 将光标定位到行的最后端清屏 clear、ctrl+L4、查看当前绝对路径 pwd5、查看当前目录下的内容： ls -a 查看目录下文件 ls -
2020-06-16 18:43:36
372
原创 图书借阅管理系统
图书馆借阅系统先按上述要求在数据库中建表CREATE DATABASE `book`;CREATE TABLE `tb_book` ( `book_id` int(11) NOT NULL AUTO_INCREMENT, `book_name` varchar(45) DEFAULT NULL, `price` double(9,2) DEFAULT NULL, `store` int(11) DEFAULT NULL, `des` varchar(45) DEFAULT NUL
2020-06-16 00:13:46
1307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人