- 博客(17)
- 收藏
- 关注
RSS订阅原创 MySQL 删除数据库中字段重复的数据
需求：数据库中存在名称重复的数据，删除重复的只保留一条。方法1：使用distinctDELETE FROM company_info WHERE id not in (select a.id from (SELECT *, count(DISTINCT company_name) FROM `company_info` GROUP BY company_name) a );方法2:使用row_number overDELETE FROM company_info WHERE id..
2020-11-03 09:19:20
208
原创 大数据之HDFS HA模式用户权限
前面创建的集群都是用root用户创建的，但是企业中是不会用root进行操作，这里将对root搭建的应用切换到普通用户管理。实操：切换root用户搭建的HDFS,用god(自己新建的普通用户)来管理。1.停止之前的集群$ stop-dfs.sh2.在每个节点机器添加普通用户$ useradd god$ passwd god3.将资源和用户绑定# hdfs集群目录$ chown -R god /opt/bigdata/hadoop# 文.
2020-07-31 11:21:58
429
原创 大数据学习之hdfs HA模式集群搭建
目录角色定义停止之前的集群对node01，node02机器进行免密操作zookeeper集群搭建配置Hadoop的core-site.xml和hdfs-site.xml分发配置初始化和启动 角色定义 服务器 NameNode NameNode JournalNode DataNode ZKFC ZOOKEEPER node01 * * * node02 *...
2020-07-28 23:35:46
179
原创 大数据之HDFS完全分布式搭建
完全分布式搭建是在上一篇伪分布式搭建的基础上搭建的，基础hdfs搭建查看上篇详情。目录 角色定义服务器配置ssh免密hdfs配置文件分发到其他机器格式化&启动验证思考角色定义 服务器 NameNode secondaryNameNode DataNode node01 * node02 * * node03 *...
2020-07-28 13:26:30
121
原创 大数据之HDFS伪分布式搭建
规划安装路径 # 1. 在/opt 目录下创建bigdata文件夹# 2.解压下载的Hadoop包$ tar xf hadoop-2.6.5.tar.gz$ mv hadoop-2.6.5 /opt/bigdata# 3. 修改profile文件$ vi /etc/profile # 在文件末尾追加 export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5 export PATH..
2020-07-21 14:52:30
150
原创 大数据学习之Linux环境搭建
设置IP及主机名 # 1.修改IP$ vi /etc/sysconfig/network-scripts/ifconfig-etho # 修改IP为自己虚拟机IP段的固定IP： IPADDR:192.168.111.11# 2.设置主机名$ vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node01 关闭防火墙和selinux #1.防火墙# ..
2020-07-21 10:18:07
235
原创 hive 查询多边形范围内的点
查询闭合图形区间内的数据select * from table where col1 like 'YGeo@fl=mortonhash&shape=polygon&lon=10,170,170,10,10&lat=60,60,2,2,60'前提是存储的时候将经纬度转为mortonhash格式col1 匹配经纬度转化字段lon 经度（闭合区间的经度列表，闭合区间，首尾必须相同）lat 纬度 （闭合区间的纬度列表，首尾必须相同）shape=polygon ...
2020-07-02 15:26:38
870
1
原创 从给定日期范围筛选日期的星期，日期
开始日期 2019-01-0120:15:33 结束日期 2019-12-12 20:13:21start_date = '2019-01-01'end_date = '2019-12-12'# 接收筛选出的日期days = [] 筛选星期（例如：1月1日到12月12日之间的所有的星期六） # Python中默认0-6表示周一到周日select_date = [1,...
2019-09-18 20:34:27
377
原创 Python 时间转换
string 格式转datetime格式string_dt = '2018-9-18 00:00:00' # 字符串时间string_dt_list = string_time.split('-') # 日期截取数组# 转成datetime类型datetime_dt = datetime.datetime(int(start[0]), int(start[1]...
2019-09-18 20:07:17
174
原创 postgresql 设置自增ID默认值
select setval('t96_office_id_seq',1,false);字段 描述 备注 t96_office_id_seq 序列名称 1 设置序列起始值 false is_called true-下次查询直接递增（nextval()查的值为2） false-下次查询后递增（nextval(...
2019-02-19 10:50:33
2168
原创 Java List集合去重，排序 最简便的方法
由于List元素可以重复，去重用循环很low，但由于Set是不可重复的，所以可借用set进行去重 /** * list1 -- 未去重的集合 * list2 -- 去重后的集合 * * */ List<String> list1 = new ...
2018-12-27 13:45:42
6924
原创 根据当前经纬度，查出数据库中对象和当前的距离
curLongitude--当前经度，curLatitude--当前纬度；longitude --数据库经度字段，latitude --数据库纬度字段select ( 6371 * acos( cos( radians(#curLatitude#) ) * cos( radians( latitude ) ) * cos( radians( longitude ) - radians(#cu...
2018-12-18 10:38:30
872
原创 根据当前坐标查询距离最近的几个单位
locLongitude--当前经度， locLatitude--当前纬度；longitude -- 数据库经度字段名 latitude --数据库纬度字段名传入当前坐标，查询数据库中距离最近的两个单位。select * from t_depot order by ACOS(SIN((#{locLatitude} * 3.1415) / 180 ) *SIN((latitude * 3....
2018-12-18 10:33:05
1816
2
原创 mybatis xml中sql语句大于小于号
在xml中直接使用,=会报错，那么该怎样替换呢 特殊字符 替代符号 & & > > " " ' '
2017-04-12 09:34:38
457
原创 前端获取时间的方式
var myDate = new Date();var year =myDate.getFullYear()+EffectiveDate; //获取完整的年份(4位,1970-????),加上系统默认的年份var month = myDate.getMonth()+1; //获取当前月份(0-11,0代表1月)var date = myDate.getDate();
2017-03-21 10:41:20
1247
原创 向表格自动添加数据
var goods = "<tr ><td class =\"goodsCode\">"+ iCode +"</td><td>" +treeNode.name+"</td><td>" +iCashPrice+"</td><td>" +iTokenPrice+"</td><td &g...
2017-03-20 09:56:52
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人