docker
文章平均质量分 89
keineahnung2345
这个作者很懒,什么都没留下…
展开
-
Linux(docker)下使用VSCode運行C++專案
在網上找過一些使用VSCode運行C++專案的文章,發現大多數文章起手就是launch.json,settings.json和tasks.json。但如果只想編譯現成的C++專案,可以不用這麼複雜,基本上按照官方教學來做即可。原创 2021-10-15 22:44:42 · 1170 阅读 · 0 评论 -
在conda虛擬環境下使用py.test會調用主環境的Python
經過實驗發現:如果在虛擬環境中使用py.test這個指令,那麼不管虛擬環境裡有沒有安裝pytest,py.test都會調用主環境裡的Python。在虛擬環境中使用pytest這個指令,如果虛擬環境裡己安裝pytest,那麼它會正確地調用虛擬環境裡的Python。如果虛擬環境裡還沒安裝pytest,則會正常報錯:看起來,比起py.test,pytest的表現符合我們的預期多了。所以結論就是:用pytest,不要用py.test!原创 2019-01-09 15:46:40 · 723 阅读 · 0 评论 -
Error response from daemon: Dockerfile parse error line xxx: unknown instruction: xxx
這是在將環境建構的腳本改寫成Dockerfile時所出現的錯誤。經查詢的結果發現,原本在Linux環境裡可以運行的多行指令,到了Dockerfile,必須用\相連才可以運行。原创 2019-01-08 10:48:07 · 45740 阅读 · 5 评论 -
Pyinstaller打包Keras程序
要在Linux系統上將Python檔案打包成可執行檔,參考Freezing Your Code這篇文章,可以使用PyInstaller及bbfreeze這兩個套件。但是bbfreeze的GitHub官網說明該項目己無人維護,所以這裡選擇PyInstaller。筆者在Ubuntu 16.04,CUDA V9.0.176的docker環境中將keras的mnist範例打包。把打包好的執行檔拿到其它機器上,相同環境的docker內,發現可以執行成功,GPU也會被調用。原创 2019-01-17 11:57:27 · 2847 阅读 · 6 评论 -
Zeppelin+Mesos:Failed to connect to xx.xx.xx.xx:5050
這是筆者依照Apache Zeppelin on Spark Cluster Mode - Spark on Mesos mode的教學架設Zeppelin+Mesos時所出現的錯誤。在構建好docker image並啟動docker container後,可以打開http://xx.xx.xx.xx:5050/#/。但是卻不時會在網頁彈出Failed to connect to xx.xx.xx.xx:5050!,以下是螢幕截圖。原创 2018-12-31 16:53:20 · 768 阅读 · 0 评论 -
使用docker stack建構跨主機PySpark+Jupyter集群
在前篇如何在30秒內建構Spark環境–使用docker-compose 踩坑實錄中介紹了使用docker-compose在一台機器架設PySpark+Jupyter環境的方法。在本篇中,會延續前篇,將原本單機版的環境擴展到多主機的集群,並且加入visualizer,讓我們可以在網頁中監控docker集群。在布署compose application到swarm集群時,可以使用自帶的overlay driver來讓分布在多機上的container可以互相溝通。原创 2018-12-19 08:37:40 · 525 阅读 · 0 评论 -
docker: Error response from daemon: OCI runtime create failed
這個錯誤是筆者在使用nvidia-docker run時發生的.錯誤訊息中提到cuda>=9.0,去TensorFlow - GPU support查詢,發現果然是TensorFlow 1.9要求CUDA版本需高於9.0。接著查詢cuda與nvidia driver相容性的表格,發現CUDA 9.0需要的nvidia driver版本必須大於等於384版。查詢一下機器上的nvidia driver版本結果顯示為375.26版,低於要求的384版。這代表我們必須要重裝nvid原创 2018-12-18 11:51:58 · 3477 阅读 · 0 评论 -
如何在30秒內建構Spark環境--使用docker-compose 踩坑實錄
本篇照著How To Have An Environment With Spark in Less Than 30 Seconds Thanks To Docker這個博客的教學,並且使用它的GitHub: bbvadata/docker-blog-example來建構PySpark+Jupyter環境。筆者運行這個項目時一共踩了三個坑,不想重蹈覆轍的同學可以使用keineahnung2345/docker-blog-example這個填完坑的版本。原创 2018-12-07 14:08:05 · 787 阅读 · 0 评论 -
CentOS下Nvidia docker 2.0之安裝教程&踩坑實錄
本篇參考Installation (version 2.0),並記錄安裝過程所踩過的坑坑洞洞。官網裡列出了四個要求:1. GNU/Linux x86_64 with kernel version>3.10 使用uname -r查詢,筆者機器的結果為:3.10.0-514.6.2.el7.x86_64。2. Docker >= 1.12 使用docker -v查詢,筆者機器的結果為:Docker version 18.09.0, build 4d60db4。如果對Docker的版原创 2018-12-06 14:31:08 · 2773 阅读 · 1 评论 -
CentOS 7下最新版Docker CE之無腦安裝教程&踩坑實錄
本篇面向只想無腦安裝的小白。因此在原來教程中很多需要做選擇的地方,在這裡都以預設選項替代。如果安裝過程不幸踩坑,可以參考結尾筆者的踩坑實錄。安裝docker有三種方式: 1. 使用yum repository安裝,這是官方推薦的安裝方式。(←本篇介紹的方式) 2. 下載RPM的package然後手動安裝 3. 使用腳本安裝安裝步驟卸載舊版的Docker及Docker Engine設定倉庫安裝必要的包設定stable repository安裝最新版的Docker CE啟動Docker原创 2018-12-06 10:33:35 · 413 阅读 · 0 评论 -
CentOS下的Cannot find a valid baseurl for repo: warning:fedora錯誤
這是筆者在CentOS 7下執行yum update時所發生的錯誤。一個簡單的方法是在yum xxx後面加上--disablerepo=warning:fedora這個flag,即yum update --disablerepo=warning:fedora,但這只一個治標不治本的方法。筆者試過幾個方法,如:1. 修改/etc/yum.repos.d/CentOS-Base.repo 2. rm /etc/yum.repos.d/Cen*但是都起不了作用。如果後續有發現真正從根本解決問題的方法,將再持續更新原创 2018-12-05 10:03:15 · 439 阅读 · 2 评论 -
docker stack deploy無法載入.env檔案裡的環境變量及其解決方式
在使用docker-compose up這個指令時,會參考docker-compose.yml這個配置檔。而docker-compose.yml這個檔案會接著調用在.env檔案裡面定義的$HOSTIP這個環境變量。然而這個方法對docker stack deploy卻不管用。後來在GitHub尋找原因,才看到原來是因為docker stack deploy本來就不支持這種用法。因此在後面我們會採用一些補丁來解決這個問題。原创 2018-12-01 15:13:51 · 2890 阅读 · 0 评论 -
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?錯誤
這是筆者在使用docker ps時所碰到的錯誤。解決方法:只要使用以下指令即可systemctl start docker。在Docker安裝完成後,必須啟動Docker daemon. 大多數的Linux發行版使用的是sudo systemctl start docker,如果這個指令無法使用,可以用sudo service docker start來替代。至於systemctl是什麼呢?在說明這個之前,我們必須先了解什麼是init system。原创 2018-12-05 09:36:45 · 11017 阅读 · 0 评论 -
docker-compose up:ERROR: Encountered errors while bringing up the project.錯誤及解決方式
本文是筆者在使用docker-blog-example這個項目時,按照README.md的說明下docker-compose up這個指令時所出現的錯誤。在經過一番查找後,才發現原來發生原因只是因為前一次docker-compose沒有被關掉,因此問題的根源並不在這個repo本身。這個問題的解決方式出乎意料地簡單,在docker/compose這個項目的I am having this “Encountered errors while bringing up the project.” error原创 2018-12-01 10:26:35 · 47784 阅读 · 4 评论 -
CentOS下安裝Nvidia docker 2.0:[Errno 256] No more mirrors to try錯誤及解決方式
這個錯誤是筆者在為CentOS 7下安裝nvidia-docker 2.0版時所出現的。首先照著NVIDIA/nvidia-docker Installation (version 2.0)的教學移除nvidia-docker 1.0版。然後參考Repository configuration,根據Linux版本來安裝對應的倉庫。但是在執行sudo yum makecache時就出現了以下的錯誤。首先參考yum-errors及[Errno 14] HTTP Error 404 - Not Found上的建議原创 2018-12-04 15:40:51 · 4513 阅读 · 0 评论 -
docker: Error response from daemon: Unknown runtime specified nvidia.錯誤詳解
這是筆者照著NVIDIA/nvidia-docker: Installation (version 2.0)在CentOS7下安裝nvidia-docker 2.0版時發生的錯誤。以下描述筆者的安裝步驟:一開始先照著教學將nvidia-docker 1.0移除,然後繼續安裝 nvidia-docker 2.0,但是安裝完成後忘了執行sudo pkill -SIGHUP dockerd,而直直接使用nvidia-docker run xxx於是就出現了上述錯誤。原创 2018-12-04 10:28:16 · 6428 阅读 · 3 评论 -
Error response from daemon: Unknown runtime specified docker-runc錯誤及解決方式
本文是筆者在運行docker start tensorflow時所發生的錯誤,一開始先檢查tensorflow這個container是否存在,使用docker ps -a來查看,發現確實存在。後來使用docker ps來查看運行中的container:發現一個可能的原因:8888端口己被這個運行中的container佔用。筆者試著讓tensorflow這個container使用8888以外的端口,重新運行.然後使用docker ps查看運行中的container,發現可以運行,問題成功解決!原创 2018-11-26 15:19:36 · 5296 阅读 · 1 评论 -
CentOS下安裝docker-ce時docker-ce conflicts with 2:docker-1.13.1-75.git8633870.el7.centos.x86_64錯誤及解決辦法
本文是筆者在照著docker官網INSTALL DOCKER CE (in CentOS)教學安裝docker-ce時所發生的錯誤。這個錯誤是說主機上己經有了舊版的docker-1.13,所以docker-ce才無法被安裝。解決辦法其實就在官網教學的上半部,我們只要使用該指令來卸載docker或docker-engine以及它們的dependencies即可。原创 2018-11-26 11:10:56 · 6027 阅读 · 0 评论