weixin_36343850的博客

背景在华为云服务器上搭建了SVN服务器，在本地客户端向SVN服务器提交代码的过程中，踩了不少坑，所以记录下来踩坑实录1. 无法正常连接到远程服务器报错信息svn: E170013: Commit failed (details follow):svn: E170013: Unable to connect to a repository at URL 'svn://xxx.xxx.xxx.xxx'svn: E000060: Can't connect to host 'xxx.xxx.xx

背景hadoop集群启动后，无有效的datanode节点，表现形式为：使用hdfs dfsadmin -report查看节点的情况时，都是0xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -reportConfigured Capacity: 0 (0 B)Present Capacity: 0 (0 B)DFS Remaining: 0 (0 B)DFS Used: 0 (0 B)DFS Used%: NaN%Under replicated bloc

背景系统：macOS 10.15.3软件：VirtualBox 6.1目标：搭建一个虚拟集群(5个节点，2个master，3个slave)，为后面搭建高可用(HA)的大数据系统的学习做准备步骤1. Linux镜像下载从Ubuntu官网下载 https://releases.ubuntu.com/16.04/因为之前习惯使用Ubuntu，并且16.04版本比较稳定，再考虑到搭集群不需要桌面环境，所以选择了这个版本 64-bit PC (AMD64) server install ima

目录背景开始填坑1. 在语句Generating project in Batch mode卡住2. Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin 报错3. Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin 报错欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片

背景：PostgreSQL 可以扩展PostGIS 模块，来完成地理空间计算方面的任务问题描述：使用内置函数 ST_Length来计算轨迹长度时，发现计算的结果和实际不太符合，查阅相关博客发现原来是坐标系的问题。（但是各个博客的内容可能不太准确，折腾了半天，最后找到官网，成功把问题解决，只能说，官网是个好东西）问题解决：概念： geometry和geography的区别geomet...

使用LOAD DATA 比一行一行insert的效率要高，另外mysqlimport也是封装了LOAD DATA的直接在命令行下执行：mysql -u root -p --execute="LOAD DATA LOCAL INFILE 'xxx文件名' INTO TABLE 库名.表名 FIELDS TERMINATED BY ',' IGNORE 1 LINES; SHOW WARNINGS...

原因：打开文件数量太多，超出了open_files_limit这个参数的限制，在一个表中有多个分区的时候，这种情况更容易发生。解决方法：查看open_files_limit参数使用show variables like '%open%';就可以看到了如上图，改参数的大小为1024修改open_files_limit参数在网上找了很多资料，有的说直接在/etc/mysql/mysq...

深圳市道路交通运行指数有全市概况、热点片区概况、道路概况等高德实时路况数据获取教程1_简书高德实时路况数据获取教程2_github高德交通态势API出行云-综合交通大数据开发云平台开放的数据量比较有限，另外相关决策服务和开发服务由第三方公司提供...

一. 空气质量1.1 实时1.1.1 pm25.in有web界面，并且提供开放API1.1.2 中国空气质量在线监测分析平台1.1.3 环保部数据中心1.2 历史1.2.1 全国空气质量历史数据 | 北京市空气质量历史数据该网址提供如下历史数据（可以直接通过百度网盘免费下载）：北京市空气质量历史数据下载（2013/12/06以来）全国空气质量历史数据下载（2014...

HDU 1022 Train Problem I题目描述：求解：题目描述：Train Problem ITime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 48735 Accepted Submission(s): 18382P...

背景：想要在c语言中输入包含空格的一行字符串。很明显scanf("%s",str)无法实现，因为这个输入方式，遇到空格或者回车符就会停止输入。（备注：全文中出现的str都表示一个字符串数组，或者char *）一. 输入单组数据方法一：使用gets(str)来实现#include<stdio.h>int main(){ char str[20]; gets(st...

我们公司产生的CSV文件一般默认都是UTF-8编码的（考虑到通用性），如果用Excel直接打开就会显示为乱码形式的，这是因为在中文Windows环境下，Excel默认的字符编码是GBK。所以要想让Excel正常显示，我们需要先将CSV文件从UTF-8编码修改为GBK编码。如何操作呢？这是我们客户经常会问到的问题。其实方法很简单：1）用UltraEdit打开我们要处理的CSV文件。2）文件 ...

HDU 1016 Prime Ring Problem题目描述：求解：题目描述：Problem DescriptionA ring is compose of n circles as shown in diagram. Put natural number 1, 2, …, n into each circle separately, and the sum of numbers in t...

HDU 1013 Digital Roots题目描述：求解：解法1：解法2：题目描述：Problem DescriptionThe digital root of a positive integer is found by summing the digits of the integer. If the resulting value is a single digit then th...

背景：安装了Anaconda，自带的是python 3.6的版本。通过这个教程： 在jupyter notebook中同时安装python2和python3 ，增加了python 2.7版本。问题：在jupyter中使用python 2内核时，使用from numpy import *命令导入包时，出现异常：ImportError: No module named numpy解决：进入p...

0.背景需要把云服务器上用docker搭建的大数据集群迁移到本地的主机上。大数据集群有一个master主节点和slave01、slave02两个计算节点。云上服务器和本地的主机的数量都只有一台，是采用docker虚拟化的方式搭建大数据集群。要求迁移后数据不会丢失。1.用export&import 还是 save & load ？export&a

0.简述Java JDK在Linux系统有两个版本，一个开源版本OpenJDK，还有一个Oracle官方版本JDK。一般系统中自带的是OpenJDK，但常用的是Oracle的JDK。所以一般先卸载自带的OpenJDK，再安装Oracle的JDK。Scala运行与JVM之上，所以若要scala可以跑起来必须先按照JDK。1.卸载OpenJDK查看JDK 版本 java -ver...

问题：如何对运行中的Docker容器进行端口映射？解决方案如下：iptables -t nat -A DOCKER -p tcp --dport ${YOURPORT} -j DNAT --to-destination ${CONTAINERIP}:${YOURPORT}iptables -t nat -A POSTROUTING -j MASQUERADE -p tcp --...