Juuunn的博客

原创 pip和conda添加清华源

pip和conda添加清华镜像源

原创 conda更新报错“ RemoveError: ‘requests‘ is a dependency of conda and cannot be removed from conda‘s oper”

conda更新库的时候一直报错，折腾一天才解决

原创 Jupyter配置运行内核

jupyter配置内核

转载 Hive安装过程中的经典错误

原创 Intelij IDEA配置Scala与Spark开发环境

文章目录开发环境安装Scala插件安装本地（win10）Scala开发环境IDEA添加Scala环境Hello Spark！开发环境IDE:Intelij IDEA 2020.3.2OS:win10Spark:3.0.0Scala:2.12.11安装Scala插件首先需要在idea中安装插件，由于不挂梯子会导致网速贼慢，所以我们选取本地安装，资源已上传只个人中心，具体安装步骤如下：安装本地（win10）Scala开发环境首先需要确认所开发Spark与Scala的版本兼容问题，Spar

原创 Python遗传算法解决作业调度问题（JSP）

import matplotlib.pyplot as pltfrom collections import OrderedDictimport randomimport copyimport datetimejobs = 5 # 工件数machines = 4 # 机器数population_num = 10 # 种群规模population = [] # 初始种群variation_rate = 0.8 # 变异率iters = 50 # 进化次数target_poi

原创 Python遗传算法求解函数极值

注：由于编码选择二进制编码，所以只能在整数范围进行搜索，也就是说求解到的最优解一定是最优的整数解，如果选择一些映射方法可以将离散问题连续化，但这样就和进化算法本身无关了，所以本文只写了基本的遗传算法超参设置染色体长度：10种群：20进化次数：50代变异靶点：3变异方式：插入，交换，局部逆序变异概率：0.1交叉方式：PMX修订两点交叉import matplotlib.pyplot as pltfrom math import *import numpy as npimport r

原创 Python启发式A搜索算法解决八数码问题

在宽度优先搜索算法解决八数码问题的基础上添加估价函数，选取哈密尔顿距离为h（n）import copyimport numpy as npfrom datetime import datetime# 字符串列表化def string_to_ls(str): return [i.split(' ') for i in str.split(',')]# 获取位置def get_loacl(arr, target): # r, c = np.where(arr == targ

原创 Python深度优先解决八数码问题

在宽度优先解决八数码问题的基础上对节点类增加深度属性import copyimport numpy as npfrom datetime import datetime# 字符串列表化def string_to_ls(str): return [i.split(' ') for i in str.split(',')]# 获取位置def get_loacl(arr, target): # r, c = np.where(arr == target) # retu

原创 【飞桨】图像分割：一文带你从FCN到UNet

文章目录飞桨官方图像分割课程图像分割全连接神经网络什么是FCN与VGG的关系UNet神经网络与FCN的关系Paddle实现UNet ModelRefers飞桨官方图像分割课程https://aistudio.baidu.com/aistudio/course/introduce/1767图像分割图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割

原创 python宽度优先解决八数码问题

import copyimport numpy as npfrom datetime import datetime# 字符串列表化def string_to_ls(str): return [i.split(' ') for i in str.split(',')]# 获取位置def get_loacl(arr, target): # r, c = np.where(arr == target) # return r, c for i in arr:

原创 Python遗传算法部分匹配交叉(PMX)

文章目录问题描述部分匹配交叉步骤(单点交叉为例）代码运行结果问题描述在进化算法的交叉环节中，无论是一点交叉还是两点交叉，基因重组后产生的后代可能出现编码重复的情况，那么就需要我们对产生的子代进行修订，常见修订算法有部分匹配交叉（PMX），顺序交叉（OX），循环交叉（CX）等部分匹配交叉步骤(单点交叉为例）step1： 确定初始种群list1: [9, 3, 5, 4, 6, 0, 2, 1, 7, 8]list2: [1, 4, 0, 2, 7, 8, 6, 9, 5, 3]step2: 随

原创 Idea配置Maven并添加阿里源详解（2020）

首先说一下配置maven的方便之处上学期学习hadoop的时候，因为虚拟机的性能问题，不少同学选择再windows本地写mapreduce程序，这就涉及到了需要导入相关的jar包，可以参考我之前的博文，手动添加jar包是相当麻烦的，Maven的便利之处则是我们在pron.xml文件中用固定的语法（本文最后我会以一个实例演示）写好我们需要的依赖后Maven会帮我们自动修改在并添加到ide中，这让程序员大大减少了工作负担Maven下载，安装，配置环境变量（图文）1.下载 maven 压缩包进入Apach

原创 hadoop生态一键启动shell脚本

同步执行命令脚本xcall在一个节点上输入命令可以同步到其余节点执行脚本目录：/use/local/bin/进入/use/local/bin/目录 vim一个xcall.sh的文件cd /use/local/vim xcall.sh插入以下代码#!/bin/shpcount=$#if((pcount==0));then echo no args...; exit;fiecho ==================masternode========

原创 HBase安装

文章目录集群分布开发环境安装HBase启动zkfc和集群修改配置文件hbase-env.shhbase-site.xmlregionservers启动集群查看结果记录大数据学习过程中HBase安装过程2020年8月18日19:11:00集群分布开发环境hadoop版本： hadoop-3.1.2注意： 这里的hadoop必须是有zookeeper的高可用集群，搭建过程可参考这篇博文OS：centos7HBase版本： HBase-2.3.0安装HBase从官网下载bin.tar安装包，

原创 Hive2.3.7安装

本文记录Hadoop学习过程中hive安装过程文章目录本文记录Hadoop学习过程中hive安装过程开发环境安装hive下载更改hive-env.sh配置信息安装MySQL更改MySQL密码修改MySQL权限刷新mysql复制jdbc更改hive-site.xml初始化hive启动hive以上为本人搭建hive的全部过程，亲测有效，欢迎各位在评论区留言评论给予意见作者为新手小白，只为记录学习&交流如任何读者有任何正面建议，欢迎留言&私信，不胜感激！2020年7月30日开发环境集群

原创 Python版数据结构与算法——算法分析（Loading...）

源于MOOC北京大学陈斌老师课程文章目录程序和算法的区别比较程序的好坏什么是计算资源算法时间度量指标赋值语句是一个合适的算法度量指标问题规模数量级函数 Order of Magnitude大O表示法影响算法运行时间的其他因素某些具体数据也会影响算法运行时间常见大O数量级函数其他算法复杂度表示法变位词判断问题问题描述解题目标可以很好的展示同一问题的不同数量级算法解题思路1.逐字检查法原理思路代码实现算法分析2.排序比较原理思路代码实现算法分析3.暴力法解题思路暴力法不是个好的算法4.技术比较解题思路程.

原创 基于R语言quantmod()包金融数据分析

文章目录数据结构读取数据在线获取其他方式获取分析类函数is族函数has族函数：检测数据是否包含某类型数据列名函数计算函数数据结构读取数据在线获取setSymbolLookup(DH=list(name=‘002041.sz’,src=‘yahoo’))DH为变量名，name传递股票代码，src指定交易所getSymbols(“DH”,from=‘2019-01-01’,to=‘2019-12-31’,assign=T)from to 指定起止时间其他方式获取getSymbols.csv

原创 R语言plot(lm)绘图结果解读

文章目录plot（lm）会生成以下四组图表1. Residuals vs Fitted2. Normal QQ3. Scale-Location4. Residuals vs Leverage参考资料plot（lm）会生成以下四组图表Residuals vs FittedNormal QQScale-LocationResiduals vs Leverage引用美国弗吉尼亚大学的一篇参考资料1. Residuals vs FittedResiuals即为残差的意思（估

转载 [转]7种常见的迁移学习

文章目录1. Domain Adaptation 领域自适应1.1 动机1.2 目的2. Online transfer learning 在线迁移学习2.1 动机2.2 目的2.3 论文和代码3. Lifelong transfer learning 终身迁移学习3.1动机3.2 目的3.3 论文和代码4. Heterogeneous Transfer Learning 异构迁移学习4.1 动机4.2 目的4.3 论文和代码5. Deep Transfer Learning 深度迁移学习5.1 动机5.2

原创 Hadoop Combiner合并

作者为新手小白，只为记录学习&交流如任何读者有任何正面建议，欢迎留言&私信，不胜感激内容原创 侵删致歉2020年4月12日20:02:42文章目录本文记录作者在Hadoop学习过程中对Combiner合并的理解Combiner合并任务描述开发环境开始新建五个类Temp类Combiner类Mapper类Reducer类Driver类输出结果后记至此为本人对Hadoop Com...

原创 Hadoop HDFS Jave API

本文记录Hadoop学习过程中通过Java API实现对hdfs的操作作者为新手小白，只为记录学习&交流如任何读者有任何正面建议，欢迎留言&私信，不胜感激！2020年4月2日18文章目录本文记录Hadoop学习过程中通过Java API实现对hdfs的操作API开始开发环境任务描述上传：put（）下载：get（）后记至此为Hadoop Jave API操作的基础实例，欢迎大家...

原创 Hadoop 序列化

**作者为新手小白，只为记录学习&交流如任何读者有任何正面建议，欢迎留言文章目录本文记录Hadoop学习过程中对序列化的理解Hadoop序列化开发环境任务描述开始新建四个类对象FlowBean类FlowMapper类FlowReducer类FlowDriver类输出结果后记至此完成WordCount基础统计实例，欢迎大家在留言处给予建议或指出不足，感谢！本文记录Hadoop学习过程中对...

原创 Hadoop MapReduce基础实例

本文记录Hadoop学习过程中第一个MapReduce实例作者为新手小白，只为记录学习&交流如任何读者有任何正面建议，欢迎留言&私信，不胜感激！2020年3月29日11:46:51文章目录本文记录Hadoop学习过程中第一个MapReduce实例问题描述开发环境任务过程描述Mapper类Reducer类Driver类输出结果至此完成WordCount基础统计实例，欢迎大家在...

原创 IDEA配置hadoop依赖jar包（非Maven）

作者新手小白，仅为学习&交流2020年3月26日22:12:29开发环境OS： Win10Hadoop版本： hadoop-3.1.2IDE： Intelij IDEA 2019.3.3Hadoop Path： E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2Win本地安装hadoop1.讲搭建hadoop平台时的.tar.gz文件直接解...

转载 程序员必备防脱发指南

防脱发目录阅前需知防脱发指南脱发类型基本病因防止脱发的方法预防脱发食物阅前需知所有信息均来自互联网防脱发指南脱发是指头发脱落的现象。正常脱落的头发都是处于退行期及休止期的毛发，由于进入退行期与新进入生长期的毛发不断处于动态平衡，故能维持正常数量的头发。病理性脱发是指头发异常或过度的脱落，其原因很多。脱发类型脱发说起来就是掉头发，可是这掉头发又分为很多种，又分别有不同的治疗方法，弄不清楚...

原创 Hadoop HA高可用集群搭建

文章目录需知准备开始基础五步zookeeper集群搭建hadoop集群配置按照顺序启动集群查看进程：jps查看Web UI至此，hadoop高可用集群搭建完毕需知本文仅为记录hadoop高可用平台搭建过程，作者新手，凭记忆写的，如果有失败的请不要见怪。。仅为交流准备jdk： jdk1.8.0_144hadoop： hadoop-3.1.2zookeeper： apache-zooke...