- 博客(20)
- 收藏
- 关注
RSS订阅原创 MacOS 远程ssh登录自己Windows电脑里的WLS Linux子系统
Macbook 连接windows的wls，需要做端口转发，否则ssh连接的地址始终是windows本机，无法连接到子系统，毕竟wls子系统是个虚拟机。设置完成后可在windows wls里测试ssh自连接（ssh localhost）和Power Shell中通过ssh命令连接wsl子系统。打开控制面板\系统和安全\Windows Defender 防火墙。Port 3333 # 端口根据自己意愿来。
2023-12-12 15:18:16
1079
2
原创 Hive配置beeling实现jdbc连接
修改配置文件hdfs-site.xml，添加如下内容： <property> <name>dfs.webhdfs.enabled</name> <value>true</value></property> 修改配置文件core-site.xml，添加如下内容： <property> <name>hadoop.proxyuser.root.hosts<..
2021-10-05 22:45:07
634
原创 JDBC:getObject(column)方法不同数据库获取数字类型不同
val id = set.getObject(1)oracle数据库下，为BigDecimal类型sql_server数据库下，为Int类型因此在相同代码读取不同数据库时，可能出现类型不同导致程序报错的现象。
2021-08-29 21:45:00
444
原创 Scala 使用泛型的方式关闭JDBC连接
描述：日常工作中，经常需要使用jdbc进行数据库连接，而连接资源需要进行close()关闭操作进行释放，一般都是对connection，statement，result分别进行关闭，如下所示：private def close(connection: Connection, statement: PreparedStatement, set: ResultSet): Unit = { if (set != null) { set.close() } if (st
2021-08-27 16:10:45
179
原创 Docekr安装 Oracle Database 12C 无sys密码如何进去数据库解决办法
1、拉取镜像lei.wang2@Leis-MacBook-Pro ~ % docker pull absolutapps/oracle-12c-ee;镜像信息请点击此2、执行如下启动run命令运行容器lei.wang2@Leis-MacBook-Pro ~ % docker run -d --name oracle \ --privileged -v $(pwd)/oradata:/u01/app/oracle \ -p 8080:8080 -p 1521:1521 abso..
2021-08-26 22:07:33
233
转载 Hive 插入数据报错return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.
<hive> insert into books values(1,"book1");Query ID = lei.wang2_20210825214904_a708ba10-4d78-4ffd-8beb-685aa297a5a4Total jobs = 3Launching Job 1 out of 3Number of reduce tasks determined at compile time: 1In order to change the average load for.
2021-08-25 22:14:51
7184
1
转载 SQL_SERVER编写存储过程导出数据库create table语句
create Procedure #sp_helptable( @table varchar(100))ASBegin declare @sql table ( s varchar(1000), id int identity ) insert into @sql(s) values ('create table [' + .
2021-08-25 15:53:07
491
原创 Mac上word无响应且内容未保存后强制退出后恢复内容方法
Mac上使用word写论文，突然卡死无响应，而且内容未保存使用command+Q强制退出后恢复未保存内容方法如下： 找到mac桌面左上角的前往->前往文件夹。 输入/private/var/folders/如图所示 在folders中搜索Word Work File，如图所示： 将文件复制到桌面后，再拖到word应用程序上打开，之后便可另存为。即恢复完成 ...
2021-02-04 18:19:05
13092
原创 Python实现排序：第一列按照字母顺序进行排列，第一列相同的时候, 第二列按照升序进行排列
Python实现排序：第一列按照字母顺序进行排列，第一列相同的时候, 第二列按照升序进行排列如下所示：a 1a 9b 3a 7b 8b 10a 5思路：逐个比较，若比前一个大，比后一个小，则插入，若比较到最后依然是最大的，则直接尾部插入def sorted(lt): ret = [lt[0]] # ret存放结果，刚开始默认为lt中第一个元素 for i in range(1,len(lt)): """ 将lt中元素从第二个开始到最后一个
2020-12-18 11:56:02
1589
原创 hadoop集群，其中一台宕机后对其重启后再次加入集群
三台centos7机器构建hadoop集群，其中一台宕机后对其重启后再次加入集群问题描述：准备关闭hdfs集群然后修改hdfs-site.xml文件后进行重启时偶然发现node03节点处于宕机状态（原因为无法连接网络，应该是网络问题导致机器无法上网），如下信息所示：后对node03机器重启后网络功能恢复然而重启之后，node03机器的zookeeper，hdfs等功能均为关闭状态，需要重启并加入机器，操作方式如下： 启动noed03机器的zookeeper [root@node0
2020-12-15 15:00:15
975
原创 Python list() 方法原理，以及自己动手实现迭代类
Python list() 方法原理，以及自己动手实现迭代类，重点在于__iter__和__next__方法代码1：自己实现迭代类import timefrom collections import Iterableclass ClassMate(object): def __init__(self): self.names = list() def add(self, name): self.names.append(name) .
2020-11-21 12:24:07
532
原创 Python模拟下载进度条百分比动态显示
Python模拟下载进度条百分比动态显示import time for i in range(1,101): time.sleep(0.1) print("\r当期进度为{}%".format(i), end="") 打印的字符串前加转义字符 \r 使得每次打印都在行首打印； 在使用 end 参数，实现不换行显示。 结果如下：...
2020-11-17 20:56:05
819
原创 Django使用gzip压缩请求，适用于后端向前端浏览器传输大量数据时对数据进行压缩的需求，以增加数据传输效率
Django使用gzip实现压缩请求，以实现API接口返回的json数据压缩（适用于大量数据在浏览器进行传输中耗费时间长的情况)1、网站全部支持gzip在配置文件中增加MIDDLEWARE_CLASSES = ( 'django.middleware.gzip.GZipMiddleware',)2、如果希望更细微的gzip力度控制django提供了gzip_page装饰器来处理：@gzip_page用于对视图函数， @gzip_pagedef viewFunc(..
2020-06-19 14:49:31
1863
原创 python在windows下使用cython模块将.py文件编译为二进制.pyd文件（Linux下的.so文件）
问题描述：正常开发工作中，我们经常会遇到需要提供接口函数给第三方使用的需求，这个时候直接提供源码显示是不安全和不便于接口维护的，为此常常需要编译为可调用执行的二进制文件再提供给第三方使用针对上述需求，这里使用python+cython模块实现在windows环境下的编译。（python3.6.5）1、编写foo01.py文件，內容如下：# -*- coding:utf-8 -*-_...
2020-01-13 13:43:24
1596
1
原创 本地电脑使用winscp同步服务器数据到本机
因项目需要，从某FTP服务器上实现与本地数据的同步，即服务器上数据能够实时更新到本地使用winscp软件，编写脚本，利用bat批处理文件进行定时运行，具体操作如下： 安装完成winscp 服务器上开启FTP传输功能，并且设置好账号密码 在Winscp安装目录C:\Program Files (x86)\WinSCP下创建三个同步脚本，如下图所示： 编辑3个脚本內容如下： 解释...
2020-01-06 14:10:09
1781
原创 windows+anaconda下安装pytorch
进入pytorch官网https://pytorch.org/找到如下图所示內容选择与自己对应的版本，安装方式，是否有CUDA以及版本号选择等，然后在Anaconda Prompt中运行下面Run this Command中的命令即可。（建议安装前将anaconda的镜像源修改为国内镜像，请参考https://blog.csdn.net/qq_42038319/article/detail...
2019-12-11 10:54:37
93
转载 Anaconda修改国内镜像源
Anaconda安装完成后，默认的镜像源为国外的网络，访问很不稳定，下载特别慢，下面是修改conda的镜像源。打开CMD，执行命令：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ （这里使用的是清华镜像） 执行命令：conda config --set sho...
2019-12-11 10:48:56
3010
转载 mysql数据库设置主从复制功能
关于mysql数据库主从复制，找到了一位朋友的链接，按照这个链接进行操作，确实有效，故直接拿来引用https://blog.csdn.net/qq_34845394/article/details/85125680
2019-11-27 16:41:31
111
原创 python使用tarceback模块与try异常处理捕获错误代码详细信息并输出到log文件和控制台
简单描述日常开发中，我们为了保证程序的可持续运行，通常会使用try —except进行异常捕获，如下所示： def insert_data(self, con, cursor, sql_insert, data): try: cursor.executemany(sql_insert, tuple(data)) ...
2019-11-18 20:47:38
1130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人